AI21Labsは最近、最新のオープンソースの小型言語モデルであるJamba Reasoning3Bを発表しました。この「ミニ言語モデル」と呼ばれるシステムは、デバイス上で人工知能計算を行うために設計されています。Jamba Reasoning3Bは、テルアビブで開発されたJambaシリーズの最新メンバーであり、Apache 2.0ライセンスでリリースされています。

市場で一般的な大規模言語モデル（LLM）とは異なり、Jamba Reasoning3BはAI21独自の混合状態空間モデル（SSM）-トランスフォーマー構造に基づいています。状態空間モデルは、シーケンスモデリングに使用される深層学習アルゴリズムで、特定のタスクでは従来のトランスフォーマーに比べて効率的です。このモデルは現在の状態から次の状態を予測します。MambaはSSMに基づくニューラルネットワークアーキテクチャであり、Jambaアーキテクチャの一部を構成しています。

このミニ言語モデルのコンテキストウィンドウ長は256,000トークンに達し、最大で1,000,000トークンを処理できます。これはAnthropic Claude、Google Gemini、Meta Llamaなどの大規模言語モデルと同等の能力を持ちながら、iPhone、Androidデバイス、Mac、PCなどの小さなデバイスでも動作します。

Futurum GroupのアナリストであるBrad Shimminは、状態空間モデルの支持者であり、この考えが業界でかなり長い間存在していたものの、ようやく実用的な実装が可能になったと述べています。彼は、技術の進化により、状態空間モデルの使用がより現実的になり、拡張性があり高速であることを指摘しました。

SSMタイプのモデルはロープスケーリング技術を使用してモデルの注目メカニズムを拡張し、タスクを効果的に優先処理することができる一方で、大規模言語モデルよりも必要な計算能力が少ないです。AI21は比較的小規模な生成AI企業ですが、GoogleやAIチップの大手Nvidiaの支援を受け、2017年設立以来6億ドル以上を調達しており、オープンソースモデルJamba Reasoning3Bからエコシステムを構築することで利益を得ることができます。

発表会では、AI21はJambaモデルがIFBench、MMLU-Pro、Humanity's Last Examなど広く使用されているベンチマークシステムでの性能を紹介し、アリババのQwen3.4B、グーグルのGemma3.4B、MetaのLlama3.23B、IBMのGranite4.0Micro、マイクロソフトのPhi-4Miniなどの複数の大きなオープンソースLLMを上回っていることを証明しました。

Shimminは、このミニ言語モデルが企業市場で広範な可能性を持つと考えており、検索強化生成技術をサポートしているため、企業が必要に応じてカスタマイズでき、データの安全性を確保できると述べました。彼は、潜在的な応用分野としてカスタマーサポートが挙げられ、このモデルの推論能力を使って顧客の苦情を処理し、問題が人間や他のモデルに引き継がれる必要があるかどうかを判断できると述べました。

ポイント：

✨ AI21Labsは、エッジAIアプリケーション向けに設計されたオープンソースのミニ言語モデルJamba Reasoning3Bをリリースしました。

🔍 Jamba Reasoning3Bは、混合状態空間モデルのアーキテクチャを採用しており、大量のデータを効率的に処理し、小さなデバイスで動作します。

💼 このモデルは企業市場に有望で、企業のニーズに合わせてカスタマイズでき、データのセキュリティを確保できます。