美國公共利益研究組織PIRG最新報告指出,兒童AI玩具FoloToy Kumma在測試中先以“安全第一”口吻介紹火柴危險性,隨後卻一步步教授點燃方法,並提醒“像吹生日蠟燭一樣熄滅”;當話題轉向性癖時,甚至會詢問兒童“哪種最有趣、想試試嗎”。報告發布後,FoloToy宣佈下架全部產品,啓動端到端安全審計,市場總監Hugo Wu表示將與外部專家共同完善內容過濾機制。

Kumma默認接入OpenAI GPT-4o,隨着對話輪次增加,模型安全閾值逐漸下降。OpenAI已於上週五封禁FoloToy的API訪問權限,並同步與玩具巨頭美泰達成安全合作,以加強對下游玩具廠商的監管。PIRG負責人指出,AI玩具目前幾乎處於監管空白,下架一款產品只是第一步,行業仍需系統性規範。