8月14日，Anthropic公司宣佈爲其Claude系列大型語言模型推出一項名爲"提示緩存"的新功能，聲稱能大幅降低企業使用AI的成本，同時提升性能。但這項功能究竟是否能如公司所言那般神奇，還有待市場檢驗。

"提示緩存"功能將在其Claude3.5Sonnet和Claude3Haiku模型的API上進行公開測試。該功能允許用戶存儲並重復使用特定的上下文信息，包括複雜指令和數據，而無需額外成本或增加延遲。公司發言人表示，這是他們爲增強Claude能力而開發的衆多尖端特性之一。

image.png

目前，OpenAI、谷歌和微軟等科技巨頭都在大型語言模型領域展開激烈角逐，各家公司都在努力提升自家產品的性能和市場競爭力。在這場競爭中，Anthropic選擇從提高使用效率和降低成本的角度切入，顯示出其獨特的市場策略。

據Anthropic聲稱，這項新功能可能帶來高達90%的成本降低，並在某些應用場景中將響應速度提高一倍。這些數字無疑令人印象深刻，但業內專家提醒，實際效果可能會因具體應用場景和實施情況而有所不同。

Anthropic表示，"提示緩存"功能特別適用於需要在多次查詢或會話中保持一致上下文的場景，如長時間對話、大規模文檔處理、代碼輔助和複雜工具使用等。這種方法有望爲各種商業AI應用帶來效率提升。

業內人士指出，雖然Anthropic的新功能看起來前景光明，但其他AI公司也在積極探索提高模型效率和降低使用成本的方法。例如，OpenAI提供了不同能力和價格的模型選擇，而谷歌則致力於開發能在普通硬件上高效運行的模型。

對於這項新功能的實際效果，市場仍持謹慎態度。如同任何新技術，特別是在快速發展的AI領域，"提示緩存"功能在現實世界中的表現還有待觀察。Anthropic表示將與客戶密切合作，收集相關數據和反饋，這符合評估新AI技術影響的行業最佳實踐。

Anthropic的這一舉措可能對AI行業產生廣泛影響，尤其是在爲中小企業提供先進AI能力方面。如果該功能真如宣傳的那樣有效，它可能會降低企業採用複雜AI解決方案的門檻，從而推動AI技術在更廣泛的商業領域中的應用。

隨着公開測試的展開，企業和開發者將有機會親自評估"提示緩存"功能的實際表現，以及它如何適應各自的AI策略。未來幾個月，我們有望看到這種管理AI提示和上下文的新方法在實際應用中的表現。

Anthropic的"提示緩存"功能代表了AI行業在效率和成本優化方面的一次有趣嘗試。然而，它能否真正引領行業變革，還需要市場的進一步檢驗。無論如何，這項創新都反映了AI公司在激烈競爭中不斷探索新方向的努力，也預示着AI技術可能迎來新一輪的效率革命。