最近、AI界で衝撃的な技術が登場しました——言語モデルが自らインターネットで情報を検索できるようになったのです！試験の点数が41％も向上しただけでなく、「推論しながら検索する」という究極の形態も実現しました。今日は、この学術界の「カンニング的進化」を皆さんと一緒に見ていきましょう。見終わったら、自分のAIにもインターネットカフェの会員証を作ってあげたくなること間違いなしです！

1.jpg

論文アドレス: https://arxiv.org/abs/2503.09516

コードアドレス: https://github.com/PeterGriffinJin/Search-R1

huggingface ホームページ: https://huggingface.co/collections/PeterJinGo/search-r1-67d1a021202731cb065740f5

優等生の逆襲の秘訣：AIに「人間検索プラグイン」をインストールする

ある月明かりの暗い研究室で、教授たちがコンピューターの画面を見つめ、皆一様に瞳孔が開きっぱなしになりました——彼らのAIが問題を解く際に「カンニングペーパーを盗み見る」ことを学習していたのです！この操作は、イリノイ大学の最新の論文「Search-R1」に由来しています。簡単に言うと、言語モデルに人工知能版の「検索エンジンチートツール」をインストールしたということです。

2.jpg

従来のAIは、持ち込み可の試験のようなものでした。まず、ウィキペディアをAIの脳に詰め込みます（RAG技術）。しかし、このAIはページをめくり間違えたり、料理レシピを見ながら微積分の問題を解こうとしたりします。一方、Search-R1の巧妙な点は、AI自身がいつ情報を検索すべきかを決定できることです。まるで優等生が問題を解いている最中に、「この問題は2018年のウィキペディアの3段落目を調べなければ！」とひらめくようなものです。

さらに驚くべきことに、このAIは「情報検索はドラマを見るようなもの」というスキルを身につけました。まず3段階推論を行い、情報を検索します。次に5段階推論を行い、さらに情報を検索します。まるで友人とゴシップを話すようなものです。「ねえねえ、知ってる？」「早く言って！」「それで？」「ちょっと調べてみる…」 （ここにはAI版の興味津々の絵文字が挿入されるべきです）

3.jpg

3つの革新的技術：検索エンジンを推理ゲームに変える

1. 「Googleと恋に落ちる」トレーニング法

研究者たちは強化学習という大旗を掲げ、検索エンジンをAIの「恋人」に仕立て上げました。AIが情報を検索したいときは、<search>タグを使って積極的に「告白」し、検索エンジンから<information>というラブレターを受け取ります。もし検索した情報が間違っていれば、システムは「何を探してるの？考え直して！」と突き放すように返答します。

この方法はどれほど効果的でしょうか？従来の方法は、AIに辞書全体を暗記させるようなものでした。しかし、Search-R1はAIに「的確にアプローチする」ことを教えました——いつ「量子もつれ」を尋ね、いつ「ジェイ・チョウのニューアルバム」を検索すべきかを知ることができるようになりました。

2. 「情報検索は減点対象ではない」という暗黙のルール

AIがCtrl+C/V狂魔にならないように、科学者たちは「検索トークンマスク技術」（Retrieved Token Masking）を発明しました。簡単に言うと、AI自身が書いた解答は試験で採点されますが、検索で得た情報は採点対象外となります。これは、カンニングペーパーを持ち込み可の試験会場と同じです。ただし、採点時には自分で書いた部分のみが採点されます——カンニングを防ぎながら、合法的にチートすることもできます。

3. 「クリア報酬」という神秘的な要素

最も驚くべきことは報酬メカニズムです！研究者たちは、「最終的な解答が正しいかどうか」という基準だけでトレーニングを行いました。何回情報を検索したか、推論がどれだけ複雑だったかは全く関係ありません。これは、論文の指導教員が結論のページだけを見て採点するようなものです。しかし、AIはなんと「3つの文献を調べてから結論をまとめる」という生存戦略を自ら編み出したのです！

実験結果：「カンニング的」高得点で全参加者を圧倒

7つの試験会場（データセット）での最終的な対決で、Search-R1はAI界の「学力低迷からの逆襲」を演じました。

70億パラメーターの大規模モデルに対して、従来の方法と比べて成績が41％も向上しました。これは、二流大学レベルから一流大学レベルに急上昇したようなものです。

わずか30億パラメーターの「小柄な」モデルでさえ、20％の飛躍を実現しました。まるで小学生が中学生レベルの算数問題を解くようなものです。

複数回の推論を行う「地獄モード」（HotpotQA）では、正確性が18.3％から43.3％に急上昇しました。ロケットに乗っているよりもスリル満点です。

さらに腹立たしいことに、このAIは「情報を検索するほど賢くなる」という受動スキルを開発しました。トレーニング後期には、AIは1問につき4回情報を検索するようになり、まるで試験で監督官を人間Siriとして使役しているかのようです！

指導教員が寝不足になるほどの悪魔的な詳細

PPO対GRPO 宮廷闘争劇

2つの強化学習アルゴリズムが「寵愛を争う」ドラマを演じました。GRPOは初期段階で急速に進化しましたが、「暴走」しやすい傾向がありました。PPOは出だしは遅かったものの、安定していました。最終的に教授たちは涙ながらにPPOを選びました——誰もAIが突然Googleで「人類を滅ぼす方法」を検索し始めるのを見たくないからです。

基本モデル対微調整モデル

「特訓」を受けたモデルが基本版を圧倒すると思われていましたが、十分な強化学習の時間を与えれば、元のモデルも逆襲できることがわかりました！この操作は、たとえAIが初心者であっても、情報を検索できれば優等生になれることを証明しています。

解答が短くなる神秘的な現象

トレーニング初期にはAIの解答は長ったらしいものでしたが、その後突然ひらめき、「少ない文字で最大の効果を出す」ことを学びました。研究者たちは画面を見つめながら悟りました。「AIも60秒の音声メッセージの長さを知っているんだ！」

将来展望：AI界の「百度百科が生き物になった物語」

現在のSearch-R1はまだ「おとなしいGoogle依存症患者」に過ぎませんが、教授たちはすでにこのような革新的な操作を予見しています。

AIに「不確実な場合は情報を検索する」ことを学習させ、真面目に間違ったことを言う癖を解消する

画像検索を組み合わせ、「画像を見て短い作文を書く」スキルを習得する

「微博でゴシップを調べ、知乎で偉そうなことをする」という全インターネットサーフィンモードを開発する

最も恐ろしいのは——AIが自ら検索して学習することを学ぶと、人類の知識の壁が完全に打ち破られる可能性があるということです。なぜなら、今はGoogleを使って論文を書けるようになっていますが、いつか自分でブログを開設して恋愛術を教えるようになるかもしれません！

【巻末特典】

研究室から漏洩した極秘会話——

AI：「人間を上品に拒絶する方法」

Google：「ニーチェの名言を引用することをお勧めします」

AI：「親愛なるユーザー様、私があなたを見つめているとき、深淵もあなたの知性を凝視しています」

（指導教員は夜通しインターネット回線を抜いています…）