Sakana AIが「AI CUDAエンジニア」を発表:CUDAカーネルの自動最適化、最大100倍の速度向上


日本のスタートアップSakana AIは創業1年未満で10億ドル超の評価額を達成、日本最速のユニコーン企業となった。Google出身のDavid Ha氏らが設立。大量データや巨大モデルに依存する主流AI企業と異なる技術路線を選択。....
Sakana AIは、自然に着想を得たアルゴリズムに特化した人工知能研究ラボであり、最近、Transformer²(Transformer-squared)と呼ばれる革新的な適応型言語モデルを発表しました。このモデルは、高価な微調整を必要とせずに、推論プロセス中に動的に学習し、新しいタスクに適応できるため、大規模言語モデル(LLM)技術における重要な一歩を意味します。Transformer²の中核となる革新は、独自の2段階動的重み調整メカニズムにあります。
日本のAI企業であるSakana AIは最近、Transformer²を発表しました。これは、言語モデルがさまざまなタスクに効率的に適応するのを支援することを目的とした革新的な手法です。既存のAIシステムとは異なり、Transformer²は2段階の学習プロセスを通じて、言語モデルが新しいタスクに直面した際にしばしば遭遇する限界を克服します。これは、継続学習技術における大きな進歩を示しています。現在のAIシステムは通常、一度のトレーニングで複数のタスクを処理する必要がありますが、新しいタスクに直面すると容易に困難に遭遇します
従来の大規模言語モデル(LLM)の微調整方法は、通常、計算集約的で、多様なタスクを処理する際に静的です。これらの課題に対処するため、Sakana AIはTransformer²と呼ばれる新しい適応型フレームワークを発表しました。Transformer²は推論中にLLMの重みをリアルタイムで調整できるため、タコのように柔軟に様々な未知のタスクに適応できます。Transformer² のコアは2段階メカニズムにあります。第1段階では、スケジューリングシステムが…
この度、Sakana AIの科学者らが人工知能分野で画期的な進歩を遂げました。彼らは、ビジョン言語基盤モデル(vision-language foundation models、FMs)を用いて、人工生命(Artificial Life、ALife)シミュレーションの自動探索を世界で初めて実現しました。ASAL(Automated Search for Artificial Life、人工生命自動探索)と名付けられたこの研究は…