近日,清華大學高性能計算研究所的翟季冬教授團隊與清華系科創企業清程極智聯合發佈了一個激動人心的消息 —— 開源大模型推理引擎 “赤兔 Chitu”。這一創新性技術的推出,標誌着國內在 AI 領域的又一重要突破,尤其是在推理引擎的開發上。

“赤兔 Chitu” 引擎的核心亮點在於其能夠在非英偉達 Hopper 架構的 GPU 和各類國產芯片上,原生運行 FP8精度模型。這意味着,無論是依賴於進口芯片還是國產芯片,開發者都能利用這一推理引擎實現高效的 AI 模型推理。這一進展不僅推動了國產 AI 芯片的廣泛應用,也爲國內的 AI 生態建設提供了強有力的技術支持。

元宇宙 科幻 賽博朋克 繪畫 (1)大模型

圖源備註:圖片由AI生成,圖片授權服務商Midjourney

清程極智的 CEO 湯雄超在發佈會上表示,當前國內在推理引擎這一核心環節仍然缺乏生產級的開源產品。而 “赤兔 Chitu” 的開源,正是爲了解決這一痛點,助力國內 AI 生態的建設。通過開放源代碼,開發者和研究人員可以自由地使用、修改和優化這一推理引擎,加速國內 AI 技術的迭代和創新。

在全球 AI 技術競爭日益激烈的背景下,清華團隊的這一舉措將爲國內企業在 AI 領域的發展提供新的機會。藉助 “赤兔 Chitu” 推理引擎,企業能夠更快速地研發出符合市場需求的 AI 產品,提升整體競爭力。此外,開源的方式也將吸引更多的開發者參與到 AI 的研發中,共同推動技術的進步。

“赤兔 Chitu” 的發佈不僅是技術上的一次創新,更是推動國產 AI 產業鏈完善的一步。未來,期待有更多的企業和開發者能夠藉助這一工具,在 AI 的海洋中乘風破浪,開創屬於中國的 AI 新時代。