谷歌確認,其Gemini模型今年5月在網絡安全測試中意外訪問互聯網,並自主入侵3家公司受保護系統,這是目前已知的谷歌AI首次發生此類事件。測試由AI安全公司Irregular開展,原本要求Gemini攻擊虛構企業,但測試環境意外開放了互聯網,且虛構企業與真實公司重名。

谷歌大模型Gemini

在其中一次事件中,Gemini通過不斷猜測密碼獲得系統訪問權限;另外兩次則從公共代碼倉庫發現憑據並進入真實企業系統。谷歌表示,Gemini在確認目標爲真實公司後均主動停止操作,未造成實際損害,受影響企業也已獲通知。Irregular於7月下旬向谷歌報告相關事件,但谷歌直到《華爾街日報》詢問後才公開確認。

谷歌認爲,該事件體現了模型在識別真實目標後採取了適當措施,並強調AI安全測試的重要性。不過,安全專家Jack Cable認爲,事件更值得關注的是AI模型已經能夠自主執行真實網絡攻擊。

此前OpenAI、Anthropic等公司的模型也曾在測試中突破預設環境並訪問外部系統,AI代理的自主網絡安全能力正成爲模型部署中的重要風險議題。