最近,魔搭社區與 vLLM 和 FastChat 展開合作,聯合爲中國開發者提供更快更高效的 LLM 推理和部署服務。開發者可以使用 vLLM 作爲 FastChat 中的推理引擎,提供高吞吐量的模型推理。FastChat 是一個開放平臺,用於訓練、服務和評估基於 LLM 的 ChatBot。vLLM 是一個由加州伯克利分校、斯坦福大學和加州大學聖迭戈分校的研究人員開發的 LLM 服務系統。通過 FastChat 和 vLLM,開發者可以快速加載魔搭的模型進行推理。