站長之家（ChinaZ.com）6月20日 消息:Kimi 開放平臺近日宣佈，備受期待的Context Caching功能即將啓動內測。這一創新功能將支持長文本大模型，並通過高效的上下文緩存機制，爲用戶提供前所未有的體驗。

據Kimi開放平臺官方介紹，Context Caching是一項前沿技術，旨在通過緩存重複的Tokens內容，大幅度降低用戶在請求相同內容時的成本。其工作原理在於智能識別並存儲已處理的文本片段，當用戶再次請求時，系統能夠迅速從緩存中調取，從而極大提升了API的接口響應速度。

微信截圖_20240620091624.png

對於規模化、重複度高的prompt場景，Context Caching功能的優勢尤爲顯著。它能夠迅速響應大量頻繁的請求，並通過重用已緩存的內容，顯著提升處理效率，同時降低費用。

特別值得一提的是，Context Caching功能特別適用於那些需要頻繁請求、重複引用大量初始上下文的應用場景。通過這一功能，用戶可以輕鬆實現高效的上下文緩存，從而在提升工作效率的同時，降低運營成本。