現在の大規模モデルが急速に進化する中、計算リソースのコストと処理効率は業界が注目している焦点である。最近、富士通は「PHOTON（トップダウンネットワーク並列階層計算）」というイノベーションなアーキテクチャを公開し、従来のTransformerモデルが複雑なシナリオにおいて抱える性能の限界を解決することを目的としている。

Transformerアーキテクチャは現在のAI分野で主流であり、性能は非常に強力だが、長文や高同時アクセスの多クエリ処理では、頻繁にメモリへのアクセスが必要となり、履歴情報を取得するために処理速度が向上しにくく、GPUの計算負荷が増加してしまう。富士通の研究チームはPHOTONアーキテクチャを再設計し、この問題点を巧みに回避した。

image.png

PHOTONアーキテクチャの核心的な利点は、独自の階層処理メカニズムにある。従来のTransformerが用いるトークンレベルの分割とは異なり、PHOTONは意味に基づいた階層技術を取り入れており、これにより計算の複雑さが大幅に低下し、並列処理能力も大きく向上している。また、多クエリ処理における意思決定フェーズでは、「多数決」または「最適選択」の戦略を採用し、一度の推論で結論を導き出す簡略なプロセスを実現している。

テストデータによると、パラメータ数が6億、9億、12億の小さなモデルにおいて、PHOTONは非常に高いスループットと極めて低いメモリ使用量を示した。特に12億パラメータのモデルでは、マルチクエリ性能が一般的なTransformerアーキテクチャの475倍に達しており、リソースのスケジューリング効率を大幅に改善している。

このアーキテクチャは、各反復ごとに必要なKVキャッシュが少ないため、システムはより多くの反復をサポートできる。これは、大量のI/Oフローを処理するインテリジェントエージェントシステムにとって、大きなパフォーマンス上の恩恵となる。一部の指標では品質がわずかに低下する可能性があるが、PHOTONは計算効率の飛躍的な向上により、AIの運用コストを低減する有望な技術的手段を提供している。

現在、富士通はこのアーキテクチャの実用化を積極的に推進しており、ベースアルゴリズムの革新を通じて、将来のスマートなアプリケーションに軽量で効率的な基盤を提供することを目指している。