大模型新玩法！騰訊優圖與上交大聯手 利用公開知識提升大模型

騰訊優圖實驗室與上海交通大學的研究團隊聯手推出了一項革命性的知識增強方法，爲大模型優化開闢了全新道路。這項創新技術摒棄了傳統模型微調的侷限，直接從開源數據中提取知識，大幅簡化了模型優化流程，在多項任務中實現了超越現有最先進技術（SOTA）的卓越表現。

近年來，大型語言模型（LLMs）雖然在各領域取得了顯著進展，但在實際應用中仍面臨着諸多挑戰。傳統的模型微調方法需要大量標註數據和計算資源，這對許多實際業務而言往往難以實現。儘管開源社區提供了豐富的微調模型和指令數據集，但如何在有限標註樣本的情況下有效利用這些資源，提升模型的任務能力和泛化性能，一直是業界面臨的難題。

針對這一問題，研究團隊提出了一種新穎的實驗框架，專注於在K-shot有標籤的真實業務數據條件下，利用開源知識增強模型能力。這一框架充分發揮了有限樣本的價值，爲大型語言模型提供了定向任務的性能提升。

該研究的核心創新點包括:

高效模型選擇:通過綜合評估推理困惑度、模型表現及知識豐富度，在有限數據條件下最大化現有模型潛力。

知識提取優化:設計了從開源數據中提取相關知識的方法，通過平衡相似性與多樣性的數據篩選策略，爲模型提供補充信息，同時降低過擬合風險。

自適應模型系統:構建了基於混合專家模型結構的自適應系統，實現多個有效模型之間的知識互補，提升整體性能。

在實驗階段，研究團隊使用六個開源數據集進行了全面評估。結果顯示，這種新方法在各項任務中均優於基線和其他先進方法。通過可視化專家激活模式，研究還發現每個專家對模型的貢獻都是不可或缺的，進一步證實了該方法的有效性。

這項研究不僅展示了開源知識在大模型領域的巨大潛力，更爲人工智能技術的未來發展提供了新的思路。它突破了傳統模型優化的侷限，爲企業和研究機構在有限資源條件下提升模型性能提供了可行的解決方案。

隨着這項技術的不斷完善和推廣，我們有理由相信，它將在各行各業的智能化升級中發揮重要作用。騰訊優圖與上海交通大學的這次合作，不僅是學術界和產業界聯手的典範，更是推動人工智能技術走向更高層次的重要一步。

論文地址:https://www.arxiv.org/pdf/2408.15915