在這個信息爆炸的時代，我們每天都在和智能設備打交道。你有沒有想過，這些看似聰明的傢伙，它們是怎麼知道“因爲下雨，所以要帶傘”的呢?這背後，其實是一場關於因果推理的深刻變革。

QQ截圖20240715105350.jpg

一羣來自微軟和麻省理工學院等知名學術機構的研究人員，共同開發了一種突破性的機器學習訓練策略。這項策略不僅克服了大型機器學習模型在邏輯推理方面的不足，還通過以下步驟實現了顯著的進步:

  • 獨特的訓練方法:研究人員採用了一種新穎的訓練方法，這可能與常規的機器學習訓練技術有所區別。

  • 邏輯推理的改進:他們的方法顯著提升了大型模型的邏輯推理能力，解決了先前存在的挑戰。

  • 利用因果關係構建訓練集:研究團隊利用因果關係模型來構建訓練數據集，這種模型能夠揭示變量間的因果聯繫，有助於訓練出能夠理解數據背後因果邏輯的模型。

  • 教授模型基礎公理:他們直接向模型傳授邏輯和數學中的基礎前提，幫助模型更好地進行邏輯推理。

  • 小型Transformer模型的驚人表現:儘管模型參數僅有6700萬，但通過這種方法訓練出的Transformer模型，在推理能力上竟能與GPT-4相媲美。

因果推理，聽起來像是哲學家的專利，但其實它早已滲透到我們生活的方方面面。對於人工智能來說，掌握因果推理，就像是學會了用“因爲...所以...”來解釋世界。但AI不是天生就會這個的，它們需要學習，而這學習的過程，就是這篇論文要說的故事。

公理訓練方法:

想象一下，你有一個非常聰明的學生，但它對世界的因果關係一無所知。你要怎麼教它呢?研究人員就想出了一個辦法——公理訓練。這就像是給AI一本“因果關係手冊”，讓它通過這本手冊，學會如何識別和應用因果規則。

image.png

研究人員用變換器模型做了實驗，結果發現，這種訓練方法真的有效!AI不僅學會了在小規模的圖上識別因果關係，而且還能把這些知識應用到更大的圖上，即使它以前沒見過這麼大的圖。

這項研究的貢獻在於，它提供了一種新的方法，讓AI能夠從被動數據中學習因果推理。這就像是給了AI一種新的“思考”方式，讓它能夠更好地理解和解釋世界。

這項研究不僅讓我們看到了AI學習因果推理的可能性，也爲我們打開了一扇門，讓我們看到了AI在未來可能的應用場景。也許在不久的將來，我們的智能助手不僅能回答問題，還能告訴我們爲什麼會這樣。

論文地址:https://arxiv.org/pdf/2407.07612v1