微軟近期在 Hugging Face 平臺上發佈了名爲 Phi-4的小型語言模型，這款模型的參數量僅爲140億，但在多項性能測試中表現出色，超越了衆多知名模型，包括 OpenAI 的 GPT-4o 及其他同類開源模型如 Qwen2.5和 Llama-3.1。

image.png

在之前的在美國數學競賽 AMC 的測試中，Phi-4獲得了91.8分，顯著優於 Gemini Pro1.5、Claude3.5Sonnet 等競爭對手。更令人驚訝的是，這款小參數模型在 MMLU 測試中取得了84.8的高分，充分展現了其強大的推理能力和數學處理能力。

image.png

與許多依賴於有機數據源的模型不同，Phi-4採用了創新的方法來生成高質量的合成數據，包括多智能體提示、指令反轉和自我修正等技術。這些方法大大增強了 Phi-4在推理和解決問題方面的能力，使其能夠處理更爲複雜的任務。

Phi-4採用了僅解碼器的 Transformer 架構，支持長達16k 的上下文長度，非常適合處理大輸入的數據。其預訓練過程中使用了約10萬億個 token，結合合成數據與經過嚴格篩選的有機數據，確保在 MMLU 和 HumanEval 等基準測試中表現出色。

Phi-4的特點和優勢包括:適用於消費級硬件的緊湊性和高效性;在 STEM 相關任務中超越了前代和更大模型的推理能力;支持與多樣化的合成數據集進行微調，便於滿足特定領域的需求。此外，Phi-4在 Hugging Face 平臺上提供了詳細的文檔和 API，方便開發者進行集成。

在技術創新方面，Phi-4的開發主要依託三個支柱:生成合成數據的多智能體和自我修正技術，後期訓練增強方法如拒絕採樣和直接偏好優化（DPO），以及嚴格過濾的訓練數據，確保與基準的重疊數據最小化，提高了模型的泛化能力。此外，Phi-4利用關鍵標記搜索(PTS)來識別決策過程中的重要節點，從而優化其處理複雜推理任務的能力。

image.png

隨着 Phi-4的開源，開發者們的期待終於成真。該模型不僅可以在 HuggingFace 平臺下載，還支持在 MIT 許可證下進行商業用途。這一開放政策吸引了大量開發者和 AI 愛好者的關注，HuggingFace 的官方社交媒體也對此表示祝賀，稱其爲 “史上最好的14B 模型”。

模型入口:https://huggingface.co/microsoft/phi-4

劃重點:

🧠 ** 微軟推出小參數模型 Phi-4，參數僅140億卻超越多款知名模型。**

📊 ** 在多項性能測試中，Phi-4表現優異，特別是在數學與推理方面。**

🌐 Phi-4現已開源，並支持商業用途，吸引了衆多開發者的關注與使用。