近日，初創公司 Pipeshift 推出了一款全新的端到端平臺，旨在幫助企業更高效地訓練、部署和擴展開源生成式 AI 模型。該平臺不僅可以在任何雲環境或本地 GPU 上運行，還能夠顯著提升推理速度和降低成本。

image.png

隨着 AI 技術的迅猛發展，許多企業面臨着如何在多種模型之間高效切換的挑戰。傳統上，團隊需要構建一個複雜的 MLOps 系統，涉及計算資源的獲取、模型訓練、精調以及生產級部署等多個環節，這不僅需要花費大量的時間和工程資源，還可能導致基礎設施的管理成本不斷增加。

Pipeshift 的聯合創始人兼首席執行官阿爾科・查託帕迪亞（Arko Chattopadhyay）指出，開發一個靈活、可模塊化的推理引擎往往需要數年的時間積累經驗，而 Pipeshift 的解決方案則旨在通過其模塊化推理引擎，簡化這一過程。該平臺採用了一種稱爲 MAGIC(GPU 推理集羣模塊化架構)的框架，允許團隊根據具體的工作負載需求靈活組合不同的推理組件，從而在不需要繁瑣工程的前提下，優化推理性能。

例如，一家財富500強零售公司在使用 Pipeshift 平臺後，將原本需要四個獨立 GPU 實例來運行的四個模型，整合到一個單一的 GPU 實例上。通過這種方式，該公司不僅在推理速度上實現了五倍的提升，還將基礎設施成本降低了60%。這一成果使得企業能夠在快速發展的市場中保持競爭力。

Pipeshift 目前已經與30家公司達成了年度授權協議，未來還計劃推出幫助團隊構建和擴展數據集的工具。這將進一步加速實驗和數據準備過程，提高客戶的工作效率。

官方入口:https://pipeshift.com/

劃重點:

🌟 Pipeshift 推出的模塊化推理引擎可以顯著降低 AI 推理的 GPU 使用率，降低成本達60%。  

🚀 通過 MAGIC 框架，企業可以快速組合推理組件，提升推理速度，減少工程負擔。  

🤝 Pipeshift 已與多家公司達成合作，未來將推出更多工具，助力企業更高效地管理 AI 工作負載。