近年來，人工智能（AI）在醫療行業的影響越來越顯著，特別是在疾病診斷和治療規劃方面。醫學大型視覺語言模型(Med-LVLMs)的發展，爲實現更智能的醫療診斷工具提供了新的可能性。然而，這些模型在實際應用中，常常面臨一個不容忽視的問題，那就是事實幻覺。這種現象不僅可能導致錯誤的診斷結果，還可能對患者的健康產生嚴重的後果。

image.png

爲了解決這個困擾醫學 AI 的問題，研究人員們開發了一種全新的多模態檢索增強生成系統，命名爲 MMed-RAG。這個系統的設計目標是提高 Med-LVLMs 的事實準確性，從而增強醫療診斷的可靠性。MMed-RAG 的最大亮點在於它具備域感知檢索機制，這使得它能夠在處理不同類型的醫學影像時表現得更加高效和準確。

具體來說，MMed-RAG 採用了一個域識別模塊，這個模塊的作用是根據輸入的醫學影像，自動選擇最合適的檢索模型。這種自適應的選擇方式，不僅提高了檢索的準確性，還確保了系統能夠快速響應各種醫學影像的需求。比如，當醫生上傳一張放射學的圖像時，系統能夠即時識別出這是哪個領域的圖像，並選擇相應的模型進行分析。

除此之外，MMed-RAG 還引入了一種自適應校準的方法，用於智能選擇檢索到的上下文數量。以往，很多系統在檢索時會一次性獲取大量信息，但這些信息未必都對最終的診斷有幫助。MMed-RAG 通過自適應校準，能夠在不同場景下選擇最合適的上下文信息，從而提升信息的利用效率。

在這套系統的基礎上，MMed-RAG 還結合了基於 RAG 的偏好微調策略。這一策略的目的在於改善模型在生成回答時的跨模態對齊和整體對齊。

image.png

具體來說，系統設計了一些偏好對，鼓勵模型在生成回答時充分利用醫學影像，即使某些回答在沒有影像的情況下是正確的，也要儘量避免。這樣一來，不僅提高了診斷的準確性，也能幫助模型在面對不確定性時更好地理解檢索到的上下文信息，避免受到無關數據的干擾。

通過在多個醫學數據集上的測試，MMed-RAG 的表現非常出色。研究人員發現，這個系統平均提高了43.8% 的事實準確性，極大地增強了醫學 AI 的可靠性。這一成果不僅爲醫療領域的智能化進程注入了新的動力，也爲未來的醫療診斷工具發展提供了可借鑑的思路。

隨着 MMed-RAG 的問世，我們可以期待，未來的醫療 AI 將能夠更準確地服務於醫生和患者，真正實現智能醫療的願景。

論文:https://arxiv.org/html/2410.13085v1

項目入口:https://github.com/richard-peng-xia/MMed-RAG

劃重點:

🌟 MMed-RAG 系統通過域感知檢索機制提升了對不同醫學影像的處理能力。

🔍 自適應校準方法確保了檢索上下文的選擇更加精準，信息利用效率更高。

💡 實驗結果表明，MMed-RAG 在多個醫學數據集上的事實準確性提升了43.8%。