近日,隨着一起關於人工智能版權的案件 ——Kadrey 訴 Meta 案的進展,Meta 公司內部的消息被法庭解封,透露出公司高管在開發 Llama3過程中,執着於超越 OpenAI 的 GPT-4模型。
Meta 的生成 AI 副總裁阿赫馬德・阿爾 - 達赫(Ahmad Al-Dahle)在2023年10月的一條信息中提到:“老實說,我們的目標必須是 GPT-4。我們有64000個 GPU!我們需要學習如何建設前沿技術,贏得這場競爭。”
儘管 Meta 發佈開放的 AI 模型,但公司的 AI 領導層顯然更關注那些不公開模型權重的競爭對手,比如 Anthropic 和 OpenAI,並將它們的 Claude 和 GPT-4視爲工作標準。儘管法國 AI 初創公司 Mistral 被多次提及,但 Meta 高管對其評價顯得頗爲輕視。阿爾 - 達赫在信息中表示:“Mistral 對我們來說就是小菜一碟,我們應該能夠做得更好。”
在 AI 領域,各大公司爭相推出先進的 AI 模型,而這些法庭文件顯示了 Meta 在這場競爭中的高度緊張氛圍。在多條信息中,Meta 的 AI 領導者提到他們在獲取訓練 Llama 所需數據方面 “非常積極”。一位高管甚至表示:“Llama3是我唯一關心的事情。” 他們討論瞭如何改進數據集,以提升 Llama3的表現。
然而,案件的檢察官指控 Meta 高管在急於推出 AI 模型的過程中,可能在數據使用上有所疏漏,涉及到了一些受版權保護的書籍。Touvron 提到,Llama2的數據集組合 “效果不佳”,並探討了如何使用更好的數據源來提升 Llama3。阿爾 - 達赫詢問道:“我們有合適的數據集嗎?有沒有什麼因爲愚蠢的原因無法使用的內容?”
Meta 首席執行官馬克・扎克伯格此前曾表示,努力縮小 Llama 模型與 OpenAI、谷歌等公司閉源模型之間的性能差距。這些內部消息顯示,Meta 在追求這一目標上承受着巨大的壓力。扎克伯格在2024年7月的一封信中提到:“今年,Llama3在最先進的模型中具備競爭力,並在某些領域領先。”
2024年4月,Meta 最終發佈了 Llama3,這一開放 AI 模型在競爭中表現出色,超過了來自 Mistral 的開放選項,但其訓練模型使用的數據 —— 這些數據據稱得到了扎克伯格的批准,正面臨多個訴訟的審查。
劃重點:
🌟 Meta 高管在開發 Llama3過程中專注於超越 OpenAI 的 GPT-4模型。
💡 該公司在獲取數據方面表現積極,但面臨使用版權受限數據的指控。
📈 扎克伯格期待未來的 Llama 模型能夠成爲行業中最先進的選擇。