近日，Mistral AI 推出了其 Voxtral 模型，旨在結合文本和音頻處理功能，爲多種應用場景提供支持。Voxtral 系列包括兩種不同的模型:Voxtral-Mini-3B-2507和 Voxtral-Small-24B-2507，前者爲一個優化過的3億參數模型，適合快速音頻轉錄和基礎的多模態理解，而後者則擁有240億參數，支持更復雜的音頻文本智能和多語言處理，非常適合企業級應用。

image.png

這兩個模型均支持長達30至40分鐘的音頻上下文，具有自動語言檢測功能，並可以處理多達32，000個標記。這些模型在 Apache2.0許可證下發布，適用於商業和研究項目，具備高效的多模態智能處理能力，可以在單一流程中處理口頭和書面交流。

在本文中，我們展示瞭如何通過使用 vLLM 和 “自帶容器（BYOC）” 的方法，在亞馬遜 SageMaker AI 端點上託管 Voxtral 模型。vLLM 是一個高性能的庫，能夠更好地管理大規模語言模型的內存，並支持跨多個 GPU 的張量並行處理。SageMaker 的 BYOC 功能允許用戶使用自定義的容器鏡像進行部署，這使得在模型的優化和版本控制上更加靈活。

整個部署過程由 SageMaker 筆記本環境作爲核心控制點，負責構建和推送自定義 Docker 鏡像至亞馬遜彈性容器註冊中心（ECR），並管理模型配置和部署工作流。此外，亞馬遜 S3還負責存儲 Voxtral 實施所需的關鍵文件，從而實現配置與容器鏡像的模塊化分離。

該解決方案支持多種用例，包括僅文本處理的傳統對話 AI，精確的音頻文件轉錄，以及結合音頻和文本智能的複雜應用場景。用戶可以通過簡單的配置更新，在 Voxtral-Mini 和 Voxtral-Small 模型之間無縫切換。通過實現這些多模態功能，Voxtral 可以爲用戶提供更爲靈活和高效的音頻和文本處理服務。

劃重點:

📌 Voxtral 模型結合文本和音頻處理，支持多種應用場景。  

🔧 亞馬遜 SageMaker 支持使用自定義容器託管 Voxtral 模型，靈活性更高。  

💡 支持多種用例，包括文本處理、音頻轉錄和複雜的多模態應用。