OpenAIは最近、人工知能モデル出力の「ブラックボックス」問題を解決することを目的とした、Prover-Verifier Games（PVG）という新技術を発表しました。

想像してみてください。あなたは超スマートなアシスタントを持っていますが、その思考プロセスはブラックボックスのようで、どのように結論に至ったのか全く分かりません。少し不安に感じませんか？そうです、これが現在多くの巨大言語モデル（LLM）が直面している問題です。強力である一方、生成されたコンテンツの正確性を検証することが困難なのです。

image.png

論文URL：https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf

この問題を解決するために、OpenAIはPVG技術を導入しました。簡単に言うと、小型モデル（GPT-3など）が大型モデル（GPT-4など）の出力を監視するというものです。これはゲームのようなもので、証明者（Prover）がコンテンツを生成し、検証者（Verifier）がそのコンテンツが正しいかどうかを判断します。面白そうですね？

このルールでは、証明者と検証者は複数ラウンドの反復トレーニングを通じて、能力を向上させます。検証者は教師あり学習を通じてコンテンツの正確性を予測し、証明者は強化学習を通じて生成するコンテンツを最適化します。さらに面白いのは、有用な証明者と狡猾な証明者の2種類の証明者があることです。有用な証明者は正確で説得力のあるコンテンツを生成しようと努力し、狡猾な証明者は間違っているが同様に説得力のあるコンテンツを生成して、検証者の判断力を試そうとします。

OpenAIは、効果的な検証者モデルを訓練するには、その識別能力を高めるために、大量の正確なラベル付きデータが必要であると強調しています。そうでなければ、PVG技術を使用しても、検証されたコンテンツに不正な出力が含まれるリスクがあります。

要点：

😄 PVG技術は小型モデルによって大型モデルの出力を検証し、AIの「ブラックボックス」問題を解決します。

😄 訓練フレームワークはゲーム理論に基づいており、証明者と検証者の相互作用をシミュレートすることで、モデル出力の正確性と制御性を向上させます。

😄 検証者モデルを訓練するには、十分な判断力と堅牢性を備えるために、大量の現実データが必要です。