人工智能初創公司 Anthropic 近日宣佈,其備受關注的 Claude Sonnet4LLM 模型現已擴展支持高達100萬個上下文詞元。此前,該模型的 API 僅支持20萬個詞元。此次擴展使得開發者可以在單個請求中傳輸超過75,000行的代碼,極大提高了使用的靈活性和便利性。
目前,擴展後的長上下文支持已經在 Anthropic 的 API 和 Amazon Bedrock 上開始公開測試,Google Cloud Vertex AI 也將在不久後上線這一功能。然而,這一長上下文功能目前僅限於 Tier4的開發者使用,並且需要遵循自定義的速率限制。Anthropic 表示,未來幾周內將會向更多開發者開放此功能。
爲應對更大的詞元窗口對計算能力的需求,Anthropic 同時推出了新的定價方案。對於20萬個詞元以下的提示,Sonnet4的費用爲每百萬個輸入詞元3美元,每百萬個輸出詞元15美元。而對於超過20萬個詞元的提示,費用則爲每百萬個輸入詞元6美元,每百萬個輸出詞元22.5美元。開發者還可以通過使用快速緩存和批處理技術來降低成本,其中批處理可爲1M 上下文窗口的定價提供50% 的折扣。
在最近的一次 Reddit AMA 會議上,OpenAI 的高層討論了爲其模型支持長上下文窗口的可能性。OpenAI 的首席執行官 Sam Altman 表示,目前他們尚未發現用戶對長上下文的強烈需求,但如果有足夠的用戶興趣,他們會考慮增加支持。由於計算能力的限制,OpenAI 團隊希望將重心放在其他優先項目上。而 OpenAI 團隊成員 Michelle Pokrass 也提到,他們曾希望在 GPT-5中支持長達100萬個詞元的上下文,尤其是針對 API 的應用場景,但因 GPU 的需求量過大而未能實現。
Anthropic 的1M 上下文支持使其在長上下文功能方面與 Google Gemini 形成了直接競爭,這也給 OpenAI 帶來了重新考慮其產品路線圖的壓力。
劃重點:
🆕 Anthropic 的 Claude Sonnet4模型現支持高達100萬個上下文詞元,極大提升了開發靈活性。
💰 新定價方案出臺,20萬個詞元以下與以上的費用分別有所不同,開發者可通過批處理降低成本。
🤖 OpenAI 對長上下文的需求表示關注,未來可能會調整產品路線以應對競爭。