近日,AMD 與高通聯合宣佈,旗下硬件正式支持 OpenAI 推出的 gpt-oss 系列開放推理模型,標誌着邊緣計算和 AI 的結合邁出了重要一步。OpenAI 新發布的 gpt-oss 系列包括兩個模型:參數較少的 gpt-oss-20b 和更復雜的 gpt-oss-120b。前者可以在配備16GB 內存的設備上流暢運行,而後者則能在單個80GB 顯卡上高效執行。

AMD 自豪地宣佈,銳龍 AI Max+395處理器成爲全球首款能夠運行 gpt-oss-120b 模型的消費級 AI PC 處理器。爲了適應這一強大的模型,AMD 採用了 GGML 框架和 MXFP4格式,使得 gpt-oss-120b 在使用大約61GB 顯存時得以順暢運行。此外,"Strix Halo" 平臺通過128GB 的統一內存,能夠將96GB 分配給 GPU,從而滿足運行需求。

image.png

在性能方面,銳龍 AI Max+395在運行 gpt-oss-120b 時可以實現每秒30個 Token 的輸出速度,並且支持 MCP 模型上下文協議。這意味着用戶在處理複雜任務時可以享受到更快的響應速度和更高的效率。

高通則表示,經過早期測試,gpt-oss-20b 模型在其驍龍平臺上展現出色的思維鏈推理能力。開發者可以通過 Hugging Face 和 Ollama 等知名平臺,在搭載驍龍芯片的設備上輕鬆訪問這一模型,從而充分發揮其強大功能。

image.png

這一合作不僅展示了 AMD 與高通在 AI 領域的前瞻性視野,也爲邊緣計算和人工智能的未來發展鋪平了道路。隨着 gpt-oss 模型的廣泛應用,我們可以期待更加智能化的設備和更靈活的 AI 應用場景。