Liquid AI推出Hyena Edge，開創智能手機邊緣設備的新時代

Liquid AI近日在國際學習表示會議（ICLR）2025前發佈了新款模型 “Hyena Edge”。這是一款基於卷積的多混合模型，旨在爲智能手機及其他邊緣設備提供更高效的人工智能解決方案。該公司成立於波士頓，源自麻省理工學院(MIT)，致力於超越目前大多數大型語言模型(LLM)所依賴的 Transformer 架構。

Hyena Edge 在計算效率和語言模型質量方面均表現出色。根據實測數據，在三星 Galaxy S24Ultra 手機上，Hyena Edge 的延遲更低，內存佔用更少，並且在各項基準測試中表現優於相同參數的 Transformer++ 模型。這一新架構的設計標誌着邊緣人工智能技術的新紀元。

與市面上大多數爲移動部署設計的小型模型不同，Hyena Edge 放棄了傳統的重注意力設計，取而代之的是利用 Hyena-Y 系列的門控捲積，替換了三分之二的分組查詢注意力（GQA）操作。Hyena Edge 的架構源於Liquid AI的 “定製架構合成”(STAR)框架，該框架通過進化算法自動設計模型結構，以優化延遲、內存使用和模型質量等多個硬件特定目標。

爲驗證 Hyena Edge 的實際應用能力，Liquid AI在三星 Galaxy S24Ultra 上進行了測試，結果顯示該模型在較長序列長度下的預填充和解碼延遲速度比 Transformer++ 快了30%。同時，在所有測試的序列長度下，Hyena Edge 的內存使用量均低於傳統模型，這使其成爲資源受限環境中的理想選擇。

在基準測試方面，Hyena Edge 在1000億個標記上進行了訓練，並在包括 Wikitext、Lambada、PiQA、HellaSwag、Winogrande、ARC-easy 和 ARC-challenge 在內的多個標準小型語言模型測試中表現出色，尤其在 Wikitext 和 Lambada 的困惑度評分上有顯著提高，PiQA、HellaSwag 和 Winogrande 的準確率也有所提升。

Liquid AI還計劃在未來幾個月內開源一系列Liquid基礎模型，包括 Hyena Edge，旨在構建能夠從雲數據中心擴展到個人邊緣設備的高效通用人工智能系統。Hyena Edge 的成功不僅在於其卓越的性能指標，更展示了自動化架構設計的潛力，爲未來的邊緣優化人工智能設定了新的標準。

官方博客:https://www.liquid.ai/research/convolutional-multi-hybrids-for-edge-devices

劃重點:  

🌟 Hyena Edge 是Liquid AI公司推出的新型卷積模型，專爲智能手機等邊緣設備設計。  

🚀 該模型在計算效率和內存使用上優於傳統的 Transformer++ 模型，適合資源受限的環境。  

📈 Hyena Edge 在多個標準語言模型基準測試中表現卓越，並計劃在未來開源以促進技術普及。