7月28日深夜、ムーン・オブ・サインは正式に2.8兆パラメータのモデルKimi K3をオープンソースし、モデルの重みと技術報告書を発表しました。その日のうちに、モール・スレッドの公式微博は、AIトレーニングおよび推論一体型のスマートコンピューティングカードMTT S5000とMUSAソフトウェアスタックを基に、Kimi K3の高速な適合と安定した起動を率先して完了したと発表しました。

世界初の3兆レベルの大規模モデルとしてオープンソースされ、Kimiの現在の能力の中で最も強力なバージョンであるKimi K3は、2.8兆のパラメータと100万トークンの文脈窓を持ち、ネイティブに視覚理解をサポートしています。KDA混合線形注目機構（Kimi Delta Attention）、注目残差（Attention Residuals）、Gated MLA、Stable LatentMoEなど複数の構造的革新を統合しており、長距離プログラミング、知識作業、複雑な推論などの先進的な知能シナリオのために開発されています。