Neon と Castform の2社は、「小規模モデル」を再評価する取り組みを実施した——強化学習により、4Bパラメータのオープンソースモデルを訓練し、ドキュメント検索タスクでの精度が GPT-5.6Sol に劣らないだけでなく、むしろそれより高いことが確認された。また、1回の推論コストは後者の約1％にとどまる。

その背景には、検索の枠組みの見直しがある。現在、ドキュメント検索では主に埋め込み検索が採用されている。つまり、ドキュメントを数値化されたベクトルに変換して類似内容を探す方法である。しかし、AIエージェントの普及に伴い、検索プロセスはエージェント型検索へと移行している。モデルが大規模な問題を複数の小さな質問に分解し、自身で検索クエリを決定し、結果を検討し、次の検索を発行するというサイクルを繰り返すことで、必要な情報を集めていく。このアプローチはより複雑な問題に対応できるが、代わりに毎回高性能モデルを使用する必要があり、時間とコストがかかる——Neonが提示した典型的なリクエストでは、GPT-5.6Sol 1回の検索リクエストに10秒以上かかっており、コストは約0.03ドルとなる。

image.png

Neon と Castform はそれぞれ異なる役割を担っている。Neon はドキュメントの保存場所と検索能力を提供し、Castform は「何を検索すべきか」を判断するモデルの訓練を担当している。トレーニングには強化学習が用いられ、モデルはまずタスクを試行し、システムが結果に点数をつける。その評価点は次回の実験に直接フィードバックされる。評価の観点は最終的な答えの正誤だけでなく、正しいドキュメントを取得したか、適切なセクションを引用したかなども含まれる。結果として、Castform がトレーニングしたモデルは Neon の検証で平均評価点1.447を記録し、GPT-5.6Sol の1.369や対照群の GPT-5.4 の1.377を上回り、この検証の最高記録を更新した。