一項由穆罕默德·本·扎耶德大學研究人員主導的研究成果,推出了一種名爲 BiMediX2 的人工智能模型,該系統能夠理解並解釋醫學圖像中的信息,並且支持英語和阿拉伯語的雙語分析,尤其在處理阿拉伯語內容時表現尤爲優異。
BiMediX2是首個能夠用英語和阿拉伯語分析、描述醫學圖像的人工智能系統。該系統可以處理包括 X 射線、MRI 掃描和顯微圖像在內的多種醫學圖像,並能提供詳細描述,同時回答有關圖像內容的提問。該模型在醫學圖像的理解上,不僅提升了翻譯的準確性,還顯著增強了阿拉伯語的處理能力。
根據技術報告,BiMediX2在與現有技術的對比測試中表現出色,其對英文內容的翻譯效果提高了9%,對阿拉伯語內容的翻譯效果則提高了20%。這一成果的背後,是該團隊對 160萬份醫學文本和圖像數據 的海量訓練,確保了兩種語言之間的準確轉換。
BiMediX2的優異表現得益於其底層架構的創新。該系統基於 Llama3.1架構 和 GPT-4o,特別針對醫療領域進行了優化。通過與 Vision Encoder 和 Meta Llama3.1 的結合,BiMediX2實現了無縫的雙語醫學圖像分析。在測試中,它在識別不正確的醫療信息方面比 GPT-4o 更具優勢。
儘管 BiMediX2在性能上表現令人鼓舞,但研究人員強調,目前該系統仍然僅限於研究用途,尚未進入臨牀應用。與所有人工智能系統一樣,BiMediX2也可能會犯錯誤或生成不準確的信息。因此,研究團隊已在 Hugging Face 上發佈了該模型,並推出了一個名爲 BiMed-MBench 的雙語基準,用於測試類似系統的性能。
BiMediX2是醫學圖像分析領域的一項重要創新,尤其在處理雙語醫學圖像和翻譯方面取得了顯著進展。雖然目前尚未應用於臨牀,但該系統的研究成果爲醫療行業帶來了更高效、更準確的人工智能應用前景。