Pruna AI 是一家來自歐洲的初創公司，專注於 AI 模型的壓縮算法開發。近日，該公司宣佈將其優化框架開源，以幫助開發者更高效地壓縮和 AI 模型。

QQ_1742461212364.png

Pruna AI 開發的框架結合了多種效率方法，包括緩存、剪枝、量化和蒸餾等，旨在提升 AI 模型的性能。該框架不僅標準化了壓縮模型的保存和加載，還能對壓縮後的模型進行評估，以判斷其質量是否顯著下降，同時測量壓縮帶來的性能提升。

Pruna AI 的聯合創始人兼首席技術官約翰・拉赫萬（John Rachwan）表示:“我們的框架類似於 Hugging Face 對 transformers 和 diffusers 的標準化，我們爲各類效率方法提供了一種統一的調用和使用方式。” 大公司如 OpenAI 已經在其模型中應用了多種壓縮方法，例如使用蒸餾技術來創建其旗艦模型的更快版本。

蒸餾是一種通過 “教師 - 學生” 模型提取知識的技術，開發者向教師模型發送請求並記錄輸出。這些輸出隨後用於訓練學生模型，使其能夠近似教師模型的行爲。拉赫萬指出，雖然許多大公司傾向於自行構建壓縮工具，但在開源社區中，往往只能找到基於單一方法的解決方案，而 Pruna AI 提供了一個整合多種方法的工具，極大地簡化了使用過程。

目前，Pruna AI 的框架支持多種類型的模型，包括大型語言模型、擴散模型、語音識別模型和計算機視覺模型。但該公司目前主要集中於圖像和視頻生成模型的優化。已有如 Scenario 和 PhotoRoom 等企業在使用 Pruna AI 的服務。

除了開源版本，Pruna AI 還推出了一個企業版，包含高級優化功能和一個優化代理。拉赫萬透露:“我們即將發佈的最令人興奮的功能是壓縮代理，用戶只需提供模型，並設定速度和準確度的要求，代理將自動找到最佳的壓縮組合。”

Pruna AI 按小時收費，類似於用戶在雲服務上租用 GPU 的方式。通過使用優化後的模型，企業可以在推理時節省大量費用。例如，Pruna AI 成功將一個 Llama 模型的體積縮小了八倍，且幾乎沒有損失精度。該公司希望客戶能夠將其壓縮框架視爲一種投資，最終獲得回報。

近日，Pruna AI 完成了650萬美元的種子融資，投資者包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures。

項目：https://github.com/PrunaAI/pruna

劃重點:

🌟 Pruna AI 推出開源優化框架，結合多種壓縮方法提升 AI 模型性能。  

🤖 大公司常用蒸餾等技術，Pruna AI 提供整合多種方法的工具，簡化使用流程。  

💰 企業版支持高級功能，幫助用戶在保持準確度的前提下實現模型壓縮和性能提升。