港大與騰訊的研究人員提出了一種全新的多模態推薦系統範式 ——DiffMM，旨在提高短視頻推薦的精準度。該系統通過創建一個包含用戶和視頻信息的圖，並利用圖擴散和對比學習技術，更好地理解用戶和視頻之間的關係，從而實現更準確的推薦。

DiffMM 的模型方法主要包含三個部分:多模態圖擴散模型、多模態圖聚合和跨模態對比增強。其中，多模態圖擴散模型通過模態感知去噪擴散概率模型，將用戶 - 物品協同信號與多模態信息統一起來，有效解決多模態推薦系統中的負面影響。同時，通過圖概率擴散範式和模態感知的圖擴散優化，實現了模態感知的用戶 - 物品圖生成和優化。

image.png

在跨模態對比增強方面，DiffMM 利用模態感知的對比視圖和對比增強方法，捕捉不同物品模態上的用戶交互模式的一致性，提高推薦系統性能。

論文:https://arxiv.org/abs/2406.1178

劃重點:

⭐ 港大與騰訊提出新範式 DiffMM，增強多模態推薦系統的性能。

⭐ DiffMM 利用圖擴散和對比學習技術，更好地理解用戶和視頻之間的關係。

⭐ 跨模態對比增強方法提高了推薦系統的精準度和性能。