在當今快速發展的人工智能領域，小型語言模型（LLMs）正變得越來越重要。它們不僅能夠在消費級硬件上高效運行，還能支持完全離線的應用場景。H2O.ai 團隊自豪地推出了 H2O-Danube3，一系列小型語言模型，它們在多種學術、聊天和微調基準測試中展現出了高度競爭力。

H2O-Danube3包含兩個模型:H2O-Danube3-4B（4億參數）和 H2O-Danube3-500M(5千萬參數)。這兩個模型分別在6T和4T的token上進行了預訓練，使用了高質量的Web數據，主要是英文token，並經過三個階段的不同數據混合，最終進行了監督調整，以適應聊天版本的需求。

技術亮點:

  • 高效的架構:H2O-Danube3的架構設計注重參數和計算效率，使其即使在現代智能手機上也能高效運行，實現本地推理和快速處理能力。

  • 開源許可:所有模型在Apache2.0許可下公開，進一步推動了大型語言模型（LLMs）的普及。

  • 多樣化的應用場景:H2O-Danube3可用於聊天機器人、研究、特定用例的微調等，甚至在移動設備上進行離線應用。

image.png

H2O-Danube3在多個學術基準測試中表現優異，例如在CommonsenseQA和PhysicsQA上取得了最佳成績，並在GSM8K數學基準測試上達到了50.14%的準確率。此外，它在聊天基準測試和微調基準測試中也展現出了強大的性能。

小型語言模型的另一個常見應用是微調。H2O-Danube3在文本分類任務上經過微調後，展現了出色的適應性和性能。即使是參數數量較少的500M模型，也能在微調後表現出高度的競爭力。

爲了進一步促進模型在邊緣設備上的應用，H2O-Danube3提供了量化版本，這些版本在保持性能的同時顯著減少了模型大小。

H2O-Danube3的推出，不僅豐富了開源小型語言模型的生態系統，也爲各種應用場景提供了強大的支持。從聊天機器人到特定任務的微調，再到移動設備上的離線應用，H2O-Danube3都展現出了其廣泛的適用性和高效性。

模型下載地址：https://top.aibase.com/tool/h2o-danube3

論文地址：https://arxiv.org/pdf/2407.09276