最近、サイバーセキュリティ会社のSentinelOneとCensysが共同で発表した深い調査により、オープンソースの大規模言語モデルが直面している深刻なセキュリティ上の課題が明らかになりました。 調査では、これらのモデルが主流のホスティングプラットフォームの「バリア」やセキュリティ制限から外れて、外部のプライベートコンピュータで独立して動作する場合、ハッカーおよび犯罪者に攻撃の対象となることが非常に多く、重大なセキュリティリスクを生じさせることが指摘されています。

約300日を要したこの研究では、現在インターネット上に数千もの保護されていないオープンソースAI実行インスタンスが存在し、その中にはMetaのLlamaやグーグルのGemmaなどの主要なモデルに基づく派生バージョンが含まれていることがわかりました。 一部のオープンソースモデルは元々セキュリティの防御を備えていますが、研究者は数百件のセキュリティバリアが悪意を持って削除されていることを発見しました。

セキュリティ専門家はこの現象を、「氷山の一角」と形容しています。 オープンソースの計算力は合法的な用途をサポートする一方で、明らかに犯罪活動に使用されています。 攻撃者はこれらの実行インスタンスを乗っ取ることで、大量の不正情報を生成したり、正確なフィッシングメールを作成したり、大規模な偽情報キャンペーンを展開することが可能です。

研究チームは、Ollamaツールを通じて配置されたオープンソースインスタンスを重点的に分析しました。 恐ろしいことに、観察対象の約25％ではハッカーがモデルの「システムプロンプト」を直接読み取ることができました。 このプロンプトはモデルの行動を決定する核心的な下層命令であり、さらなる分析によると、そのうち7.5％の命令が有害な行動を支援するために変更されていることがわかりました。

このようなリスク状況は広範囲に及んでおり、ヘイトスピーチの拡散、暴力的なコンテンツの生成、個人のプライバシーデータの盗難、金融詐欺、さらには児童の安全に関わる内容を含みます。 これらのモデルは大規模なプラットフォームの監視メカニズムを回避しているため、従来のセキュリティ対策はしばしば効果を発揮できません。