近日,哈佛肯尼迪學院的“錯誤信息審查”研究發現,人工智能生成的虛假研究論文正在滲透到谷歌學術等學術搜索引擎中。這可能會削弱公衆對科學發現的信任,並破壞依賴尖端研究的行業的產品開發。

研究人員發現了139篇疑似由人工智能工具生成的論文,其中超過一半的論文關注健康、環境問題和計算技術等主題。這些虛假研究論文可能會導致誤導性的產品發佈和資源浪費,破壞公衆對科學的信任和基於證據的決策的可靠性。

人工智能 AI 機器人

人工智能公司Positron Networks首席執行官兼聯合創始人Sid Rao表示,大型語言模型根據與基礎模型所訓練數據存在偏差的概率生成結果,這可能會導致文本中出現與構思論文所用的科學方法無關的偏見。這種偏見可能會產生不準確的結果,並巧妙地產生錯誤的內容。

拉奧警告稱,人工智能幻覺會產生不準確的結果,並巧妙地產生錯誤的內容。例如,一篇論文可能會提出正確的結論,但仍然包含未引用或主觀的支持陳述。即使錯誤率或幻覺率只有1%,這兩個問題也會從根本上削弱人們對科學研究的信任。

人工智能生成的虛假研究論文對研發投資的影響是重大的。投資者無法分辨什麼是真實的,什麼是算法的廢話,他們就會開始撤退。研發已經足夠冒險了,再加上可疑的人工智能驅動出版物帶來的不確定性,情況就更糟了。

此外,僞造文件對商業法規的影響也可能非常嚴重。不可靠的研究讓監管機構感到困惑,如果產品背後的科學依據不可靠,立法者要麼會通過過度監管來保護消費者,要麼會更糟,他們會根據虛假數據制定糟糕的政策。

研究人員呼籲加強對人工智能生成的虛假研究論文的監管,並呼籲科學界和監管機構採取措施確保科學研究的可靠性和真實性。