在如今這個人工智能（AI）飛發展的時代，各大企業都在全力以赴地想要將 AI 技術應用到生產環境中，以期獲得更高的投資回報率。然而，即便市場上有各種先進的 AI 模型，團隊們在部署時依然面臨不少挑戰。

image.png

根據 Everest Group 的首席執行官彼得・本多爾 - 塞繆爾的估計，90% 的生成式 AI 試點項目將難以進入生產階段。此外，Gartner 預測到2025年底，許多生成式 AI 項目可能會在概念驗證後被遺棄。

在這些挑戰中，最大的障礙就是協調問題。團隊往往缺乏足夠的資源來完成所有工作，這使他們不得不依賴那些僵化且昂貴的第三方 API。爲了填補這一空白，Simplismart AI 最近獲得700萬美元的融資，推出了一個端到端的機器學習運營平臺，旨在加速整個協調過程，從模型微調到部署和監控一應俱全。

與市場上其他機器學習運營解決方案相比，Simplismart 的亮點在於其個性化的軟件優化推理引擎。該引擎可以以極快的速度部署模型，大幅提升性能並降低相關成本。Simplismart 的聯合創始人阿米特蘭舒・賈因表示，在沒有任何硬件優化的情況下，Llama3.18B 模型的吞吐量達到了每秒501個 token，遠超其他推理引擎。

在內部部署 AI 時，團隊需要面對多個瓶頸，包括獲取計算能力、優化模型性能、擴展基礎設施和成本效率等。Simplismart 的平臺標準化了整個工作流程，用戶可以根據需要微調、部署和觀察高度優化的開源模型。

用戶可以選擇使用 Simplismart 的共享基礎設施或自帶計算資源，方便地配置自己的基礎設施和部署。此外，平臺的直觀儀表板使用戶能夠設置 GPU、機器類型和擴展範圍等參數。平臺還提供了監控功能，讓用戶可以追蹤服務水平協議（SLA），監測模型的實際性能。

目前，Simplismart 已與30家企業客戶建立了合作關係，並計劃進一步提升其機器學習運營平臺的性能。公司希望藉助新一輪融資推動研發，提升 AI 推理速度，併力爭在未來15個月內將年化收入從約100萬美元增長到1000萬美元。

劃重點:

💡90% 的生成式 AI 試點項目將難以進入生產階段，協調問題是最大障礙。  

🚀 Simplismart 的個性化推理引擎在無硬件優化的情況下實現了每秒501個 token 的吞吐量。  

📈 公司已與30家企業客戶建立合作，目標在15個月內將年化收入提升到1000萬美元。