最近、AIbaseはソーシャルメディアプラットフォームから最新情報を入手し、日本語チューニングに特化したHuggingFaceモデルプロバイダーであるShisa.AIの存在を知りました。彼らが発表した日英バイリンガルモデルは業界で広範な注目を集めています。この記事では、Shisa.AIの最新成果と日本語AI分野における革新的な進展について詳しく解説します。

111.jpg

Shisa V2405B: 日本史上最強のオープンソースモデルが誕生

AIbaseによると、Shisa.AIは最新のLlama3.1に基づくShisa V2405Bモデルをリリースしました。このオープンソースモデルは「日本史上、最も強力に訓練された大規模言語モデル」として称賛されています。このモデルは、日本語タスクでの優れたパフォーマンスだけでなく、強力な英語処理能力も維持しており、日英バイリンガルモデルとして非常に優れた性能を示しています。

テストデータによると、Shisa V2405Bは多数の日本語ベンチマークテストでGPT-4やGPT-4Turboを上回り、最新のGPT-4oやDeepSeek-V3と日本語タスクにおいてほぼ互角の結果を達成しました。この進展は、日本国内のAIラボがグローバルAI競争の中で台頭していることを示しており、日本語AIアプリケーションに新しい可能性をもたらしました。

日本語最適化に焦点を当てた微調整技術の進化

Shisa.AIは東京に拠点を置くスタートアップ企業で、日本市場向けに先進的なオープンソースAI言語モデルや音声モデルを開発・展開しています。AIbaseの情報によると、従来のモデルと比べて、Shisa V2シリーズは高コストとなる継続的な事前トレーニングやトークナイザーの拡張を放棄し、トレーニングプロセスの最適化に集中しました。合成データ駆動型の方法により、モデルのパフォーマンスを大幅に向上させました。

その中心となるデータセット「ultra-orca-boros-en-ja-v1」はフィルタリング、再生成、再サンプリングされており、現在最も強力な日英バイリンガルデータセットの一つとされています。これは、ほぼすべての基本モデルの日本語能力を向上させるために使用されます。このデータセットはApache2.0ライセンスのもとで無料で公開され、グローバルな開発者にとって貴重なリソースとなっています。

幅広い適用範囲を持つモデルファミリー、7Bから405Bまで

Shisa V2シリーズは7Bから405Bパラメータ規模の異なるモデルが含まれており、軽量デバイスからハイパフォーマンスコンピューティングまで多様なニーズに対応しています。AIbaseの情報によると、これらのモデルは日本語文法、キャラクター演じ、翻訳などのタスクで優れたパフォーマンスを発揮します。特に「shisa-jp-ifeval」（日本語命令遵守テスト）、「shisa-jp-rp-bench」（日本語キャラクター演じベンチマーク）、および「shisa-jp-tl-bench」（日英翻訳ベンチマーク）などのテストでは、それぞれの基礎モデルを上回っています。

注目に値するのは、Shisa V2405Bのトレーニングには少数の韓国語と繁体字中国語のデータが組み込まれており、その多言語能力をさらに強化したことです。これにより、クロス言語アプリケーションへのさらなる可能性が広がりました。

オープンソース精神によるグローバルAIイノベーションの推進

Shisa.AIの努力は日本語AIのパフォーマンスを向上させるだけでなく、オープンソースを通じてグローバルAIコミュニティの発展にも貢献しました。AIbaseは、Shisa V2シリーズのトレーニングログがWeights and Biasesプラットフォームで公開されていることを確認しました。このトレーニングプロセスでは、AWS SageMakerの4ノードH100クラスタを使用し、Axolotl、DeepSpeed、Liger Kernelなどの先端技術が採用され、効率的なモデル開発が保証されました。

さらに、Shisa.AIは日本語専用ベンチマークツールのオープンソース化を計画しており、日語大規模言語モデルの研究と評価を支援し、グローバルな開発者に多くのサポートを提供することを目指しています。

未来の展望: 日本AIのグローバル競争力

Shisa.AIの成功は、小さなAIラボでもグローバルAI競争で一席を得られることを示しています。そのオープンソースモデルやデータセットの公開により、日本語AIアプリケーションの普及が強力にサポートされました。AIbaseは、Shisa.AIがモデルやリソースを不断に更新していくことで、日本がグローバルAI領域での地位をさらに強固なものにするだろうと考えています。

複雑な日本語タスクに取り組む開発者にとって、Shisa V2シリーズは間違いなく試すべき強力なツールです。AIbaseは、Shisa.AIの公式ウェブサイトやHuggingFaceページを定期的にチェックすることをお勧めします。そこで技術的な詳細やモデルの体験機会を得ることができます。

Shisa.AIはそのShisa V2シリーズモデルを通じて、日本がAI分野で持つ革新力を示しました。学術研究や商業利用においても、これらのオープンソースモデルは日本語AIの将来の発展に道を開きました。