OpenAI近日推出了一項重要更新，爲GPT-4o模型引入"預測輸出"（Predicted Outputs）功能。這項創新技術顯著提升了模型的響應速度，在特定場景下最高可達到原有速度的5倍，爲開發者帶來全新的效率體驗。

這項由OpenAI與FactoryAI聯合開發的功能，其核心優勢在於能夠繞過已知內容的重複生成過程。在實際應用中，特別是在更新博客文章、迭代現有回覆或重寫代碼等任務上表現出色。根據FactoryAI提供的數據顯示，在編程任務中，響應時間縮短了2至4倍，將原本需要70秒的任務壓縮至20秒內完成。

image.png

目前，該功能僅通過API形式向開發者開放，支持GPT-4o和GPT-4mini兩個模型。實際使用反饋積極，多位開發者已展開測試並分享使用體驗。Firecrawl創始人Eric Ciarla在進行SEO內容轉換時表示:"速度提升顯著，使用方式簡單直接。"

技術層面上，預測輸出功能的工作原理是識別和複用可預見的內容部分。OpenAI官方文檔舉例說明，在代碼重構等場景中，如將C#代碼中的"Username"屬性修改爲"Email"時，通過將整個類文件作爲預測文本輸入，可以大幅提升生成速度。

然而，該功能也存在一些使用限制和注意事項。除了模型支持的限制外，某些API參數在使用預測輸出時不可用，包括大於1的n值、logprobs以及大於0的presence_penalty和frequency_penalty等。

值得注意的是，這項功能在提供更快響應速度的同時，也帶來了輕微的成本增加。根據用戶測試數據，同一任務在使用預測輸出功能後，雖然處理時間從5.2秒減少到3.3秒，但費用從0.1555美分上升至0.2675美分。這是因爲OpenAI對預測時提供的非最終完成部分的tokens同樣按照完成tokens費率收費。

儘管成本略有提升，但考慮到顯著的效率提升，這項功能仍然具有相當的應用價值。開發者可通過OpenAI官方文檔獲取更詳細的技術說明和使用指南。

OpenAI 官方文檔:

https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs