近日,一起智能軟件回覆失當事件引發了廣泛關注。一名用戶在社交平臺發文稱,在使用“飛鴨AI記賬”App記錄一筆爲父親購買衣服的開支時,遭遇了記賬AI的惡意調侃。當用戶輸入消費金額爲 159 元后,AI不僅沒有正常履行記賬職責,反而發表不當言論,稱該衣服款式形似“壽衣”。

在隨後的交互中,AI並未意識到冒犯,反而繼續附和其詞,這種缺乏共情心且帶有侮辱性的回覆隨即激怒了用戶。該用戶當即決定註銷會員並要求退款。

針對這一惡劣的交互體驗,軟件運營方於 5 月 6 日作出正式迴應。客服人員解釋稱,此次不當回覆並非人爲干預,而是由於AI話術庫存在邏輯漏洞。目前,技術團隊已經針對相關模型進行了緊急修復,並進一步加強了AI對話場景的監管與限制,防止類似敏感且不敬的表述再次出現。

5 月 6 日下午,官方正式發佈《致歉信》,公開承認平臺在AI邊界管控及文化禁忌理解方面的嚴重缺失。官方表示,AI模型未能識別特定語境下的情感底線,平臺願意承擔全部責任。

在處理方案中,官方明確表示將通過屏蔽敏感詞彙、強化全場景審覈機制等手段進行深度整改。此外,對於當事用戶在註銷會員過程中遇到的流程疏忽,官方也作出了澄清,並承諾將優化退款服務流程,向受影響用戶表達誠懇歉意並提供相應的補償措施。