アンカーグループのバーリン大規模モデルチームは最近開催されたアンカー技術デーで重大な決定を発表しました:マルチモーダル大規模モデル「Ming-lite-omni」を全面的にオープンソースにすることです。この取り組みは、アンカーグループがAI分野でのさらなるオープン化を示すものであり、業界ではモードサポート面でGPT-4oと同等の能力を持つ最初のオープンソースモデルとして評価されています。
220億パラメーターの技術的ブレークスルー
Ming-lite-omniはLing-liteに基づいており、先進的なMoE(エキスパートミックス)アーキテクチャを採用しています。総パラメーター数220億、アクティブパラメーター30億という強力な構成を持っています。このパラメーター規模はオープンソースのマルチモーダルモデルの中で新しい高さを達成しており、アンカーグループが大規模モデル技術においてどれほど深い蓄積を持っているかが示されています。
現在、Ming-lite-omniのモデル重みと推論コードはすでに公開され、後続のトレーニングコードやトレーニングデータも順次公開される予定です。これにより、グローバルな開発者に完全な技術サポートを提供します。
持続的なオープンソース戦略の成果
今年に入ってから、バーリン大規模モデルチームはいくつか重要なモデル製品を連続してオープンソース化してきました。具体的には、Ling-lite、Ling-plusといった大言語モデル、マルチモーダル大規模モデルMing-lite-uni、そしてプレビュー版のMing-lite-omniなどです。
特に、5月中旬にリリースされたLing-lite-1.5バージョンは、同じレベルのSOTA(最新技術)に近い能力を持っており、性能は千問4Bと8Bの間で、300BサイズのSOTA MoE大言語モデルが非ハイエンド計算プラットフォーム上でトレーニング可能であることを成功裏に証明しました。
国際トップレベルのモデルと性能を対抗
理解力と生成能力のさまざまな評価において、Ming-lite-omniのパフォーマンスは10B規模のトップマルチモーダル大規模モデルと同等またはそれ以上です。アンカーグループによると、これは既知の中でGPT-4oと同等のモードサポート能力を持つ最初のオープンソースモデルであり、グローバルな開発者にとって重要な技術選択と基準となっています。
バーリン大規模モデルの責任者である西庭氏は、チームの技術路線について次のように述べています。「我々は言語大規模モデルとマルチモーダル大規模モデルにMoEアーキテクチャを統一的に使用し、多くの場合非ハイエンド計算プラットフォームを利用することで、国産GPUがGPT-4oと同等のモデルトレーニング能力があることを証明しました。」