魔搭社區與 vLLM 和 FastChat 合作,提供高效 LLM 推理和部署服務

站長之家
發布於AI新聞資訊 · 1 分鐘閱讀 · Jul 21, 2025
最近,魔搭社區與 vLLM 和 FastChat 展開合作,聯合爲中國開發者提供更快更高效的 LLM 推理和部署服務。開發者可以使用 vLLM 作爲 FastChat 中的推理引擎,提供高吞吐量的模型推理。FastChat 是一個開放平臺,用於訓練、服務和評估基於 LLM 的 ChatBot。vLLM 是一個由加州伯克利分校、斯坦福大學和加州大學聖迭戈分校的研究人員開發的 LLM 服務系統。通過 FastChat 和 vLLM,開發者可以快速加載魔搭的模型進行推理。