Llama3.1泄露了!你沒聽錯，這個擁有4050億參數的開源模型，已經在Reddit上引起了軒然大波。這可能是迄今爲止最接近GPT-4o的開源模型，甚至在某些方面超越了它。

Llama3.1是由Meta（原Facebook）開發的大型語言模型。雖然官方還沒有正式發佈，但泄露的版本已經在社區引起了轟動。這個模型不僅包含了基礎模型，還有8B、70B和最大參數的405B的基準測試結果。

image.png

性能對比:Llama3.1vs GPT-4o

從泄露的對比結果來看，即使是70B版本的Llama3.1，在多項基準測試上也超過了GPT-4o。這可是開源模型首次在多個benchmark上達到SOTA（State of the Art，即最先進的技術）水平，讓人不禁感嘆:開源的力量真是強大!

2.jpg

模型亮點:多語言支持，更豐富的訓練數據

Llama3.1模型使用了公開來源的15T+ tokens進行訓練，預訓練數據截止日期爲2023年12月。它不僅支持英語，還包括法語、德語、印地語、意大利語、葡萄牙語、西班牙語和泰語等多種語言。這讓它在多語言對話用例中表現出色。

3.jpg

Llama3.1研究團隊非常重視模型的安全性。他們採用了多方面數據收集方法，結合人工生成數據與合成數據，以減輕潛在的安全風險。此外，模型還引入了邊界prompt和對抗性prompt，以增強數據質量控制。

模型卡來源：https://pastebin.com/9jGkYbXY#google_vignette