SuperCLUEがテクセントのHy3言語モデルのプログラミング専門テストデータを公開し、DeepSeek-V4-Proなどの人気モデルと同列でコード能力を比較しました。Hy3はMoEアーキテクチャを採用しており、総パラメータ数は295Bで、アクティブパラメータは21Bにとどまり、256Kのコンテキスト長をサポートしており、「混元で最も強力な言語モデル」とされています。結果として、対手よりも大幅にパラメータ規模が小さいこのモデルが、プログラミングの場面で驚くべき成績を収めました。

4つの側面で全面的な比較を行い、Hy3は性能とコストの両方を兼ね備えています

今回のテストは、国内のプログラマーが日常的にコードを書くための実際のシナリオに基づいて設計されました。各プログラミング問題には数十回のやり取りが必要であり、コードの分析・修正・検証を段階的に進め、実際の開発・デバッグプロセスに近いものとなっています。テストは使用コスト、実行速度、コミュニケーションのラウンド数、Tokenの消費量という4つの側面から比較され、開発者が予算や効率のニーズに応じて適切なモデルを選択するお手伝いをします。

コード能力のスコアでは、Hy3のハイエンドバージョンが47.37点を獲得し、DeepSeek-V4-Proと完全に同等です。多くの競合モデルはHy3のパラメータ数の4〜5倍あるにもかかわらず、差をつけられていなかったことがわかります。これにより、モデルのアーキテクチャとトレーニング方法において大量の最適化が行われたことが示されます。コスト面ではHy3の優位性がさらに顕著で、1つのプログラミング問題を解く平均コストは0.43元にとどまり、長期的な頻繁な呼び出しでも高コストにならないため、商用化における財政的負担が大幅に軽減されます。

1問あたり400秒未満、40ラウンドの会話で一連のタスクを完了

実行速度に関して、Hy3は1問あたりの平均所要時間は400秒未満で、評価上位にランクインしています。リアルタイムでのコード作成やオンラインデバッグなど、迅速な応答が必要なシナリオに適しています。コミュニケーション効率も目を見張るものがあり、平均して40ラウンド以上の会話を経るだけで一連のタスクを完了できます。指示の調整やコードの修正を繰り返す必要がなく、収束速度も速いです。また、一度のタスクで消費されるTokenは約116万にとどまり、クラウド上の計算リソースをあまり占めず、プラットフォームの運用負荷も低くなります。

AIによる開発をよく利用するプログラマーにとって、Hy3は性能とコストの間に見事なバランスを取っています。パラメータ規模が能力の唯一の指標ではない中で、「小規模ながら大容量」のモデルが実際のデータを通じて証明しているように、アーキテクチャとトレーニング戦略の最適化によっても、最高級のライバルと並ぶことができるのです。Hy3がApache 2.0ライセンスで全面的にオープンソース化したことで、このコストパフォーマンスの戦いはまだ始まったばかりかもしれません。