來自 UCSC-VLAA 團隊的 “MedTrinity-25M” 大規模多模態數據集正式發佈。這個數據集包含2500萬張醫學影像及詳細註釋。在醫學領域中可謂是一次重要的創新,它擁有多粒度的註釋,可以幫助研究人員更好地理解和應用醫療數據,用於訓練醫療多模態大模型。
MedTrinity-25M 的構建過程相當複雜,團隊經過精心的數據處理,提取了從各類數據中獲得的關鍵信息,整合了元數據,生成了粗略的標題,定位了感興趣的區域,還收集了相關的醫學知識。更有意思的是,他們利用這些信息,利用大規模語言模型(MLLM)生成了細緻的描述。這種方法不僅提高了數據的可用性,也爲醫學研究開闢了新的方向。
說到發佈進程,值得一提的是,MedTrinity-25M 的 Demo 數據集早在2024年6月就已經上線了,而完整數據集則是在7月21日正式對外發布,最近在8月7日,他們還發布了相關的論文。
除了數據集本身,團隊還提供了一系列預訓練的模型,像是 LLaVA-Med++,這些模型在多個醫學任務中表現出色。研究者們能夠利用這些工具,更好地完成他們的項目,讓醫學研究效率大大提升。
MedTrinity-25M 爲醫學界提供了一個寶貴的資源,希望大家能夠充分利用這個數據集,推動醫學研究的發展。