OpenAI 於10月22日正式向所有客戶開放 Decisions API,推出面向快速決策場景的 API 服務,直接參與由初創公司 TypeSafe 的 Jev 模型帶動的決策模型競爭。

OpenAI 於9月29日開發者日宣佈該產品,核心是重新配置 ChatGPT Luna 模型,以降低推理延遲和使用成本,而非專門訓練獨立決策模型。

OpenAI

據 OpenAI API 產品負責人 Nikunj Handa 介紹,Decisions API 可將處理時間從1—3秒縮短至100—180毫秒。公開版本新增語音和視覺模態,並通過按地區調度推理資源降低延遲。在 Box、Datadog、Ramp 和 Speak 等客戶的初步測試中,該 API 提升了處理吞吐量;其中,語言學習應用 Speak 將操作間隔從1.4秒縮短至0.13秒。OpenAI 也將其用於提升 Dots 語音助手的響應速度。

決策模型能夠根據給定選項快速作出選擇並提供置信度評估,有望替代部分傳統大語言模型承擔的邏輯判斷環節。當前,Jev、Liquid 的 D1Ultra、Base Labs 的 Elephant-1等產品均參與競爭。

公開基準測試中,最新 Jev 模型在兩個決策模型指數中分別排名第七和第三,OpenAI 模型則分別位列第八和第十四。隨着多模態能力與推理速度持續提升,決策模型有望拓展實時交互、圖像分類及視頻逐幀處理等應用場景,但不同任務對速度、成本和準確性的要求仍存在差異。