人工智能初創公司 Anthropic 今天宣佈,他們備受歡迎的 Claude Sonnet4語言模型(LLM)現已支持高達100萬個上下文詞元。這一更新使 Anthropic 成爲繼 Google Gemini 之後,第二家能提供如此長上下文支持的主流模型供應商。

此前,Claude Sonnet4API 的上下文限制爲20萬個詞元,而此次擴展將其提升至五倍,開發者們可以在單個請求中提交超過75,000行代碼的整個代碼庫。這一改變將極大地方便開發者,尤其是在需要處理複雜任務或大規模數據時。

Claude2,Anthropic,人工智能,聊天機器人 
 克勞德

現在,Claude Sonnet4的長上下文支持已在 Anthropic 的 API 和 Amazon Bedrock 上進入公開測試階段,Google Cloud Vertex AI 也即將推出類似功能。不過,目前的長上下文支持僅向 Tier4級別的開發者開放,並設定了自定義的速率限制。Anthropic 表示,未來幾周內將逐步向更多開發者開放這一功能。

隨着上下文窗口的擴大,必然伴隨更高的計算需求。Anthropic 爲此推出了新的定價策略:對於20萬個詞元以下的提示,Sonnet4的費用爲每百萬輸入詞元3美元,每百萬輸出詞元15美元。而對於超過20萬個詞元的提示,費用則提升爲每百萬輸入詞元6美元,輸出詞元22.5美元。值得注意的是,開發者可以通過使用快速緩存和批處理來有效降低成本,批處理甚至可以爲1M 上下文窗口的定價提供50% 的折扣。

最近,在 Reddit 的一場問答會議上,OpenAI 的領導層討論了支持長上下文窗口的計劃。OpenAI 的首席執行官 Sam Altman 表示,儘管尚未發現用戶對長上下文的強烈需求,但若有足夠的興趣,他們會考慮支持這一功能。OpenAI 團隊的 Michelle Pokrass 提到,他們原本計劃在 GPT-5中提供長達100萬個詞元的上下文支持,特別是針對 API 的用例,但由於 GPU 需求量大,未能如願。

隨着 Anthropic 推出1M 上下文的支持,其在長上下文功能方面直接與 Google Gemini 競爭,這無疑給 OpenAI 帶來了重新評估其產品路線圖的壓力。