Liquid AIは、国際学習表現会議（ICLR）2025開催前に、新型モデル「Hyena Edge」を発表しました。これは、畳み込みに基づいたマルチハイブリッドモデルであり、スマートフォンなどのエッジデバイスに、より効率的なAIソリューションを提供することを目的としています。ボストンに拠点を置く同社は、マサチューセッツ工科大学（MIT）発祥で、現在の大規模言語モデル（LLM）の大部分が依存するTransformerアーキテクチャを超えることを目指しています。

QQ_1745721153040.png

Hyena Edgeは、計算効率と言語モデルの品質の両面で優れた性能を発揮します。実測データによると、Samsung Galaxy S24 Ultraスマートフォンでは、Hyena Edgeは遅延が低く、メモリ使用量が少なく、同等のパラメータを持つTransformer++モデルよりも、各種ベンチマークテストで優れた結果を示しました。この新しいアーキテクチャの設計は、エッジAI技術の新時代を告げるものです。

モバイル展開向けに設計された、市場に出回っているほとんどの小規模モデルとは異なり、Hyena Edgeは従来の重いアテンション設計を放棄し、代わりにHyena-Yシリーズのゲーテッド畳み込みを使用して、グループ化クエリアテンション（GQA）操作の3分の2を置き換えています。Hyena Edgeのアーキテクチャは、Liquid AIの「カスタムアーキテクチャ合成」(STAR)フレームワークに基づいており、このフレームワークは進化アルゴリズムを使用してモデル構造を自動的に設計し、遅延、メモリ使用量、モデルの品質など、複数のハードウェア固有の目標を最適化します。

Hyena Edgeの実用性を検証するために、Liquid AIはSamsung Galaxy S24 Ultraでテストを実施しました。その結果、長いシーケンス長でのプリフィリングとデコードの遅延速度は、Transformer++よりも30％高速であることが示されました。同時に、すべてのテストされたシーケンス長において、Hyena Edgeのメモリ使用量は従来のモデルよりも低く、リソースが限られた環境での理想的な選択肢となっています。

QQ_1745721067890.png

ベンチマークテストでは、Hyena Edgeは1000億個のトークンでトレーニングされ、Wikitext、Lambada、PiQA、HellaSwag、Winogrande、ARC-easy、ARC-challengeなど、複数の標準的な小規模言語モデルテストで優れた結果を示しました。特に、WikitextとLambadaの困惑度スコアが大幅に向上し、PiQA、HellaSwag、Winograndeの精度も向上しました。

Liquid AIは今後数ヶ月以内に、Hyena Edgeを含む一連のLiquid基礎モデルをオープンソース化する予定です。これは、クラウドデータセンターから個人のエッジデバイスまで拡張可能な、効率的な汎用AIシステムを構築することを目指しています。Hyena Edgeの成功は、その卓越した性能指標だけでなく、自動化されたアーキテクチャ設計の可能性を示しており、将来のエッジ最適化AIのための新しい基準を設定しています。

公式ブログ:https://www.liquid.ai/research/convolutional-multi-hybrids-for-edge-devices

要点：

🌟 Hyena Edgeは、Liquid AI社が発表した新型畳み込みモデルで、スマートフォンなどのエッジデバイス向けに設計されています。

🚀 従来のTransformer++モデルよりも計算効率とメモリ使用量が優れており、リソースの限られた環境に適しています。

📈 Hyena Edgeは、複数の標準的な言語モデルベンチマークテストで優れた結果を示しており、今後オープンソース化される予定です。