最近,Inflection AI 在其最新的企業平臺上做出了一個引人注目的決定:放棄使用 Nvidia 的 GPU,轉而採用 Intel 的 Gaudi3加速器。這一變化標誌着該公司在 AI 領域的戰略調整,之前其 “Pi” 客戶應用都是基於 Nvidia 的 GPU 來運行的。現在,Inflection3.0將依託於 Gaudi3,用戶可以選擇在本地或雲端的 Tiber AI Cloud 上運行。
圖源備註:圖片由AI生成,圖片授權服務商Midjourney
Inflection AI 成立於2022年,最初專注於開發一款名爲 Pi 的對話式個人助手。然而,隨着創始人 Mustafa Suleyman 和 Karén Simonyan 在春季離職加入微軟,公司開始將重點轉向爲企業構建定製的微調模型,利用客戶的數據來提升服務質量。
Inflection3.0是該平臺的最新版本,目標是通過使用專有數據集來微調模型,以便爲企業打造專屬的 AI 應用。值得注意的是,Intel 將是首批使用這一服務的客戶之一,這讓人不禁猜測 Inflection 是否會爲這些加速器支付全價。
儘管 Inflection 計劃在 Gaudi3加速器上運行其服務,但顯然不會很快建立系統。和之前的 Inflection2.5一樣,最新版本也將在 Intel 的 Tiber AI Cloud 服務上運行。不過,Inflection 意識到一些客戶可能希望將數據保留在本地,因此計劃從2025年第一季度開始提供基於 Intel AI 加速器的物理系統。
使用 Gaudi3加速器的一個好處是,Inflection 在價格性能上大幅提升。Inflection AI 首席執行官 Sean White 在博客中表示,通過使用 Intel 的技術,他們看到了與當前競爭產品相比高達兩倍的價格性能提升。Gaudi3在訓練和推理速度上也被認爲比 Nvidia 的 H100更快,且成本更低。
Gaudi3的技術規格也相當強大,配備128GB 的 HBM2e 內存,帶寬高達3.7Tbps,並具備1,835teraFLOPS 的密集 FP8或 BF16性能。在16位精度下,Gaudi3的浮點性能幾乎是 H100的兩倍,這對 Inflection 專注的訓練和微調工作負載非常關鍵。
此外,Intel 最近還宣佈,IBM 將在其雲平臺中部署 Gaudi3加速器,並計劃在2025年早期推出。這意味着,Gaudi3加速器正在逐步贏得市場認可。
劃重點:
🌟 Inflection AI 決定放棄 Nvidia GPUs,轉用 Intel 的 Gaudi3加速器。
🚀 Inflection3.0將以 Gaudi3爲基礎,爲企業提供定製的 AI 應用。
💰 使用 Gaudi3,Inflection AI 實現了高達兩倍的價格性能提升。