錯位圖靈測試：GPT-4竟比人類更像人類？

在1950年，一個名叫艾倫·圖靈的聰明人想出了一個測試機器是否具備智能的巧妙方法，這就是著名的圖靈測試。簡單來說，如果一臺機器能在文字交流中讓人分不清它是機器還是人類，那麼它就通過了測試，被認爲是有智能的。

但是，隨着技術的發展，我們開始思考一個新的問題:如果我們不是直接和AI交流，而是讀到AI和其他人交流的文字記錄，我們還能準確判斷出誰是人誰是機器嗎?

最近，加州大學聖地亞哥分校的一羣科學家就這個問題進行了深入研究。他們設計了一種改良版的圖靈測試，稱爲“倒置圖靈測試”和“移位圖靈測試”，來探索這個問題。

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

在倒置圖靈測試中，AI不再是被測試的對象，而是變成了裁判。科學家們讓GPT-3.5和GPT-4這兩種大型語言模型來閱讀真實的人類和AI之間的對話記錄，然後判斷對話中的參與者是人類還是AI。

結果讓人驚訝:這些AI裁判的判斷準確率不僅低於直接參與交流的人類裁判，而且在很多情況下，它們甚至錯誤地將AI當成了人類。特別是對於表現最好的GPT-4模型，AI裁判將其判斷爲人類的頻率比真正的人類參與者還要高。

科學家們還進行了移位圖靈測試，這次是人類裁判來閱讀AI和人類之間的對話記錄。結果發現，即使是人類裁判，在這種情況下判斷的準確率也低於直接參與交流的人類裁判。

這些發現告訴我們，無論是人類還是AI，在沒有直接交流的情況下，都很難準確判斷對方是人還是機器。這對於我們日常生活中的在線交流具有重要意義，因爲我們常常是通過閱讀別人的對話來了解他們的。

這也意味着，如果我們依賴AI來檢測網絡上的假信息或者冒充人類的AI，我們可能需要更加精確的工具。因爲目前的AI模型在這項任務上的表現並不比人類好。

這項研究不僅讓我們對AI的理解更深入，也揭示了AI發展中的一個重要挑戰:如何設計出更好的工具來檢測和區分AI生成的內容和人類生成的內容。

隨着AI技術的不斷進步，這個問題將變得越來越重要。我們需要確保，在我們享受AI帶來的便利的同時，也能夠保護我們的數據安全和網絡環境的真實性。

論文地址：https://arxiv.org/pdf/2407.08853