在生成式人工智能領域，蘋果的努力似乎主要集中在移動設備上，尤其是最新的 iOS18系統。然而，新的 Apple M4芯片在最新發佈的 Mac Mini 和 Macbook Pro 中展現出強大的性能，使其能夠有效運行目前最強大的開源基礎大語言模型（LLMs），如 Meta 的 Llama-3.1405B、Nvidia 的 Nemotron70B 和 Qwen2.5Coder-32B。

image.png

Exo Labs 是一家成立於2024年3月的初創公司，致力於 “民主化人工智能的訪問”，其聯合創始人亞歷克斯・奇馬（Alex Cheema）已經成功地利用多臺 M4設備搭建了一個本地計算集羣。

他將四臺 Mac Mini M4（每臺售價599美元）與一臺 Macbook Pro M4Max(售價1599美元)相連，通過 Exo 的開源軟件運行了阿里巴巴的 Qwen2.5Coder-32B。整個集羣的成本大約爲5000美元，相較於一臺價值25000到30000美元的 Nvidia H100GPU 來說，性價比極高。

使用本地計算集羣而非網絡服務的好處顯而易見。通過在用戶或企業控制的設備上運行 AI 模型，可以有效降低成本，同時提升隱私和安全性。奇馬錶示，Exo Labs 正在不斷完善其企業級軟件，目前已有幾家公司在使用 Exo 軟件進行本地 AI 推理，未來這一趨勢將逐步向個人和企業擴展。

Exo Labs 近期的成功得益於 M4芯片的強大性能，該芯片被稱爲 “全球最快的 GPU 核心”。

奇馬透露，Exo Labs 的 Mac Mini M4集羣能夠以每秒18個標記的速度運行 Qwen2.5Coder32B，並以每秒8個標記的速度運行 Nemotron-70B。這表明，用戶無需依賴雲基礎設施就能高效處理 AI 訓練和推理任務，使 AI 對隱私和成本敏感的消費者和企業變得更加可及。

爲了進一步支持這一本地 AI 創新的浪潮，Exo Labs 計劃推出一個免費的基準測試網站，以提供詳細的硬件配置比較，幫助用戶根據需求和預算選擇最佳的 LLM 運行解決方案。

項目入口:https://github.com/exo-explore/exo

劃重點:

🌟 Exo Labs 利用 Apple M4芯片，成功在本地計算集羣上運行強大的開源 AI 模型。  

💰 本地運行 AI 模型可降低成本，提高隱私安全，避免對雲服務的依賴。  

📊 Exo Labs 將推出基準測試網站，幫助用戶選擇適合的硬件配置進行 AI 任務。