最近、Mozillaのエンジニアはブログで、Anthropicの先進的なAIモデルClaude Mythosを活用してFirefoxブラウザに271のセキュリティ脆弱性を発見し、修正した裏話について共有しました。以前の報道によると、MozillaチームはFirefoxブラウザのバージョン150において、Mythos Preview AIモデルを利用してこれらの脆弱性を発見し修正しました。

image.png

この271の脆弱性の中で注目されるのは、180が「深刻」と評価されている点です。これはユーザーが通常ウェブサイトを閲覧している間にも影響を及ぼす可能性があることを意味します。また、80の中程度の脆弱性和11の軽微な脆弱性も含まれています。AIがバグを見つけることに対する疑問に対して、Mozillaは12の完全なBugzillaレポートを公開し、これは単なるAIの宣伝ではないことを証明しています。

Mozillaのエンジニアは、AIがコード分析でよく起こる「幻覚（hallucination）」現象を克服するため、専用のAgent Harness（エージェントキット）を開発しました。これまでAIがコードを分析すると、多くの見かけ上は妥当だが実際には架空の報告書が生成され、人間によるレビューのコストが大幅に増加していました。今回の成功は、モデル自体の能力向上とこのカスタムツールの導入により可能となりました。

このキットは、例えば「このファイル内でバグを探す」といった具体的な指示をモデルに与え、ファイルの読み書きやテストケースの評価を行うツールを提供し、タスクが完了するまでループして実行します。具体的な操作では、キットは特定のソースファイルを指し、Mythosは自主的にテストケースを生成します。例えば特定のHTMLコードを作成し、その後既存のファジングツールを使ってテストを行います。メモリクラッシュが発生すれば、脆弱性が存在していると判断できます。さらに誤検出をフィルターするために、Mozillaは第二の大型モデルを導入し、最初のモデルの出力をスコアリングし、高いスコアの報告のみが開発者に送信されます。

Mozillaの優れたエンジニアであるBrian Grinstead氏は、二重検証を経た最終的な脆弱性報告には誤検出がほとんどなく、これによりエンジニアに明確な確認信号が提供されたと述べています。問題が実際に存在し、修復作業が完了しており、テストケースが登録された後は再び発生しないことが保証されています。

ポイント：

🌟 271のセキュリティ脆弱性の中、180個が「深刻」と評価されており、ユーザーの通常利用に影響を与える可能性があります。

🤖 MozillaはAIモデルとエージェントキットを活用して効果的に脆弱性を発見・修正しました。

🔍 二重検証によって、最終的な報告書には誤検出がほとんどなく、脆弱性修正の正確性が確保されました。