「Acrab」というスタートアップ企業は、今日、初のエッジAIエンドSoC「GΞLIX 1」を正式に発表しました。この5nmプロセスで製造されたチップは、クラウドにデータを送ることなく、ローカルで1000億パラメータ規模の大規模モデルを実行できるというハードウェア的な性能を強調しています。

ハードウェア的には、GΞLIX 1は非対称計算アーキテクチャを採用しており、20コアのArm CPU、3TFLOPSのGPU、独立したNPUおよび音声・映像処理エンジンを1つのチップに統合しています。AI全体の演算能力は650TOPSに達しています。比較すると、Qualcomm Snapdragon X EliteのNPU性能は約45TOPS、Intel Core UltraシリーズのNPUは40TOPS前後とされています。GΞLIX 1のAI演算能力はこれらの数十倍です。

大規模モデルの推論を効率的に処理するために、キャッシュとメモリサブシステムも高スループットの要件に合わせて設計されました。チップには8MBのL1キャッシュが搭載され、共有L2キャッシュの帯域幅は768GB/sに達し、256ビットのLPDDR5Xメモリを外部に接続して、転送速度は8533MT/sとなっています。大規模モデルの推論において、重みの読み込みやKVキャッシュのアクセスはメモリ帯域に敏感に影響されるため、この構成が100Bモデルを端末側で実行する基盤となっています。

今回の発表では、Acrabはプリフィルのステージにおける性能を重点的に紹介しています。プリフィルとは、ユーザー入力を受け取った大規模モデルが一文字ずつ出力を始める前に、すべての入力を完全に符号化するプロセスであり、その速さは長文入力時の最初のトークン遅延に直接影響します。Acrabはベクトルハードウェアユニットを使ってTransformerの注目機構の計算を高速化し、プリフィル経路を特定の最適化を行っています。公式テストでは、40k KVキャッシュと10kトークン入力のGemma 26B A4B構成下で、このチップは1416.8トークン/秒の速度を記録し、Apple M4 Pro Mac Miniの7.5倍の性能を示しています。

ソフトウェア面では、Acrabは完全なソフトウェアスタックとスマートエージェントの参考設計を同時に公開しました。これは、カーネルドライバから上位アプリケーションフレームワークまでをカバーしています。第一世代のエンドデバイスであるAgent Boxも同時に発表され、GΞLIX 1の参照実装として、開発者が評価やプロトタイプ検証を行うために利用できます。