螞蟻集團旗下CodeFuse代碼大模型開源了ModelCache大模型語義緩存，以降低大型模型應用的推理成本，提升用戶體驗。ModelCache的架構包括adapter、embedding、similarity和data_manager模塊，可以將文本轉換爲語義向量表示，並對向量進行相似度排序和評估。ModelCache的線上效果統計表明，命中緩存可以將平均耗時降低10倍，提速率可達14.5%。未來，ModelCache將繼續優化性能和精度，以提高召回時間和準確率。