近日，小紅書的 hi lab 團隊正式推出了其首個開源文本大模型 ——dots.llm1。這一新模型以其卓越的性能和龐大的參數量引起了業界的廣泛關注。

dots.llm1是一款大規模的混合專家（MoE）語言模型，擁有驚人的1420億個參數，其中激活參數達到140億。經過11.2TB 的高質量數據訓練，這款模型的性能可以與阿里巴巴的 Qwen2.5-72B 相媲美。這意味着 dots.llm1不僅在文本生成方面具有極高的準確性和流暢度，還能支持更復雜的自然語言處理任務。

小紅書

值得注意的是，這一模型的預訓練過程並沒有使用合成數據，所有數據均來源於真實場景的高質量文本。這使得 dots.llm1在理解人類語言的細膩度和自然性上更具優勢，能夠爲用戶提供更貼近真實的交互體驗。

小紅書此次開源的決定，標誌着其在人工智能領域的進一步擴張，彰顯了其在技術創新方面的雄心。開源不僅有助於提升社區的參與度和貢獻，也爲開發者提供了更多的機會去探索和應用這一強大的工具。

作爲一家以內容分享和社交爲核心的平臺，小紅書一直在努力提升其用戶體驗和技術實力。通過推出 dots.llm1，小紅書希望能夠爲用戶提供更加智能化的服務，同時也希望激勵更多的開發者參與到人工智能的研究和實踐中來。

在未來，我們期待 dots.llm1能在更多領域展現其潛力，比如內容創作、智能客服、以及更復雜的對話系統等。小紅書無疑正在以自己的方式，推動人工智能的進步。