小紅書推出多模態筆記推薦框架 NoteLLM，提升用戶體驗！

近日，小紅書正式推出了名爲 NoteLLM 的多模態大型語言模型框架，旨在爲用戶提供更精準的筆記推薦服務。這個框架不僅能夠理解文本信息，還能有效處理圖像，藉助其強大的語義理解能力，大幅提升了筆記推薦的準確性與相關性。

NoteLLM 的核心技術在於生成筆記的壓縮嵌入與自動生成標籤的能力。通過引入對比學習與指令微調技術，該框架可以更好地解析用戶行爲數據，從而爲每個筆記生成合適的標籤和類別。這一創新的功能不僅優化了用戶在平臺上的使用體驗，也極大地增強了用戶與內容之間的互動。

值得注意的是，NoteLLM 的升級版本 NoteLLM-2引入了多模態輸入。這意味着該框架能夠同時處理文本和視覺信息，確保用戶在獲取信息時不會遺漏任何重要內容。通過採用多模態上下文學習（mICL）和晚期融合(late fusion)機制，NoteLLM-2能有效地增強對視覺信息的理解，從而使得筆記推薦更加全面和準確。

在實際應用中，NoteLLM 已展現出強大的推薦能力。其應用場景包括個性化筆記推薦、冷啓動筆記推薦、標籤和類別生成等，能夠快速幫助用戶發現感興趣的內容。對於新發布的筆記，該框架也能夠通過內容相似性實現迅速曝光，打破傳統推薦系統的侷限。

NoteLLM 不僅僅是一個筆記推薦工具，更是一個集成了多種先進技術的智能系統，正在推動小紅書平臺的內容推薦服務向更高水平邁進。

項目地址：https://github.com/Applied-Machine-Learning-Lab/NoteLLM