快手公司正式發佈並開源了 KAT-V1自動思考(AutoThink)大模型。這款模型在思考和非思考能力的融合方面表現卓越,能夠根據問題的複雜度自動調整其思考模式。

KAT-V1共有兩個版本,分別爲40B 和200B,表現出色的40B 版本在自動思考模式下的性能接近於最新發佈的 DeepSeek-R1(參數量爲6850億)。而200B 版本則在多項基準測試中超越了 Qwen、DeepSeek 和 Llama 系列的旗艦模型。

image.png

顯著的性能優勢

在實時基準測試 LiveCodeBench Pro 中,KAT-V1的40B 版本成功躋身閉源模型行列,超越了衆多開源模型。

快手的 Kwaipilot 團隊在技術報告中詳細闡述了 KAT-V1背後的多項技術創新,包括一種全新的長短思考混合模型訓練範式,以及一種新型強化學習算法 Step-SRPO,顯著提升了模型的推理能力和思考密度。

image.png

解決過度思考的問題

自 OpenAI 推出 o 系列模型以來,推理模型的思考方式逐漸演變爲 “過度思考”,導致響應時間延長,用戶體驗下降。

KAT-V1針對這一問題進行了優化,研究團隊希望模型能夠根據任務複雜度自主判斷是否進行深入思考,從而實現更高效的人機協作。快手團隊在今年6月推出的 KwaiCoder-AutoThink-preview 爲解決此問題提供了初步方案,KAT-V1在此基礎上進行了進一步的推理能力優化。

創新的數據處理與模型蒸餾技術

KAT-V1模型是在 Qwen2.5-32B 的基礎上進行擴展的。團隊構造了大量的思考與非思考數據,並在預訓練階段使用了約1000萬個示例,以確保模型在科學、代碼、數學等多個領域的能力泛化。通過獨特的異構蒸餾框架,KAT-V1能高效地將教師模型的知識傳遞給學生模型,大大降低了模型初始化的成本。

在模型的後訓練階段,Kwaipilot 團隊通過強化學習方法提升模型的智能決策能力。KAT-V1能夠通過學習,智能選擇合適的思考模式,使得在複雜問題上,其性能可以達到 DeepSeek-R1-0528的95% 以上。

目前,KAT-V1的40B 版本已在 Hugging Face 平臺上線,用戶也可以在快手打造的 AI 研發助手 Kwaipilot 中體驗這一模型。200B 版本的 MoE 模型仍在訓練中,未來有望帶來更強大的功能和應用。

模型開源地址:https://huggingface.co/Kwaipilot/KAT-V1-40B

技術報告地址:https://arxiv.org/pdf/2507.08297