近日,AI 安全初創公司 Irregular 宣佈獲得8000萬美元的融資,這輪融資由著名投資公司 Sequoia Capital 和 Redpoint Ventures 領投,同時還吸引了 Wiz 的首席執行官 Assaf Rappaport 參與。根據與此交易相關的消息來源,Irregular 目前的估值已達到4.5億美元。

網絡安全,隱私

圖源備註:圖片由AI生成,圖片授權服務商Midjourney

Irregular 的聯合創始人 Dan Lahav 表示:“我們認爲,未來大量的經濟活動將來自人機交互和 AI 與 AI 之間的互動,而這將會在多個環節打破現有的安全體系。” 該公司原名爲 Pattern Labs,已經在 AI 評估領域佔據了重要地位,公司的工作成果被廣泛引用於 Claude3.7Sonnet 及 OpenAI 的 o3和 o4-mini 模型的安全評估中。此外,Irregular 開發的模型漏洞檢測能力評分框架(SOLVE)在業內也得到了廣泛使用。

儘管 Irregular 在現有模型的風險評估方面取得了顯著進展,但其此次融資的目標更爲雄心勃勃:在模型進入實際應用之前,識別潛在的新風險和行爲。爲此,Irregular 構建了一個複雜的模擬環境系統,能夠在模型發佈前進行深入測試。

聯合創始人 Omer Nevo 提到:“我們有複雜的網絡模擬,在這些模擬中,AI 扮演攻擊者和防禦者的角色。因此,當新的模型推出時,我們可以觀察防禦在何處有效,何處失效。”

隨着 AI 行業對安全問題的關注加劇,前沿模型所帶來的潛在風險愈發顯現。今年夏天,OpenAI 便對其內部安全措施進行了全面的調整,以防止可能的企業間諜行爲。同時,AI 模型在發現軟件漏洞方面的能力也日益增強,這對攻擊者和防禦者都產生了深遠影響。

對 Irregular 的創始人而言,這只是由大型語言模型不斷增強的能力所帶來的安全隱患中的第一個挑戰。Lahav 表示:“如果前沿實驗室的目標是創造越來越複雜和強大的模型,那麼我們的目標就是確保這些模型的安全。然而,這是一項不斷變化的任務,因此未來還有非常非常多的工作要做。”

劃重點:  

🌟 Irregular 成功融資8000萬美元,估值達到4.5億美元。  

🔒 公司致力於評估 AI 模型的安全風險,特別是新模型的潛在風險。  

⚙️ Irregular 通過複雜的網絡模擬,測試 AI 模型的防禦能力,以提高安全性。