人工智能計算初創公司Cerebras Systems Inc.正式推出其號稱"世界上最快的人工智能推理服務"，這一舉措無疑是對行業巨頭Nvidia Corp.的直接挑戰。Cerebras首席執行官安德魯·費爾德曼表示，新服務旨在以更快的速度和更低的成本完成AI推理任務，迴應了市場對高效推理解決方案日益增長的需求。

芯片


Cerebras的"高速推理"服務建立在其強大的WSE-3處理器之上。這款處理器擁有超過900，000個計算核心和44GB板載內存，其核心數量是單個Nvidia H100圖形處理單元的52倍。Cerebras聲稱，其推理服務速度可達每秒1，000個令牌，比使用Nvidia最強大GPU的同類雲服務快20倍。更引人注目的是，該服務的起價僅爲每百萬個代幣10美分，據稱比現有AI推理工作負載的性價比高100倍。

Cerebras推理服務提供三個訪問層級，包括免費服務、開發者層和企業級。開發者層通過API端點訪問，爲Llama3.18B模型提供每百萬代幣10美分的價格，而Llama3.170B模型則爲60美分。企業級則提供更多定製選項和專門支持，適合持續性工作負載。

多家知名機構已成爲Cerebras的早期客戶，包括葛蘭素史克公司、Perplexity AI Inc.和Meter Inc.等。DeepLearning AI Inc.的創始人Andrew Ng博士對Cerebras的快速推理能力給予高度評價，認爲其對於需要反覆提示大語言模型的代理AI工作流程特別有幫助。

除了推理服務，Cerebras還宣佈了多項戰略合作伙伴關係，旨在爲客戶提供全方位的AI開發工具。合作伙伴包括LangChain、LlamaIndex、Docker Inc.、Weights & Biases Inc.和AgentOps Inc.等。此外，Cerebras的推理API與OpenAI的聊天完成API完全兼容，這意味着現有應用程序可以輕鬆遷移到其平臺。