上海交大博士發現大bug！AI畫家竟然畫不出茶杯中的冰可樂！

AIbase基地

Published in AI News · 1 minute read · Jul 16, 2025

在人工智能領域，AI畫家的能力一直在不斷突破和進步。然而，即使是最先進的AI圖像生成模型，也可能在某些看似簡單的任務上遇到難題。最近，上海交通大學博士研究生趙峻圖及其團隊在研究中發現，AI在生成“茶杯中的冰可樂”這一場景時，表現出了意料之外的困難。

這一現象引發了學術界的關注，被稱爲文本圖像不對齊問題（text-image misalignment）。在2023年10月，當AI圖像生成模型剛剛興起時，趙峻圖及其團隊進行了嘗試，發現AI畫家在構建這一場景時，往往會畫出一個裝滿冰可樂的透明玻璃杯，而非茶杯。即使在2024年7月使用最先進的模型進行嘗試，結果仍然不盡人意。

爲了深入探索這一問題，上海交通大學王德泉教授的課題組在即將發表的論文《Lost in Translation: Latent Concept Misalignment in Text-to-Image Diffusion Models》中，將這一問題歸類爲包含隱藏變量的不對齊問題（Latent Concept Misalignment，簡稱 LC-Mis）。他們設計了一個基於大語言模型(LLMs)的系統，利用LLMs蘊含的人類思維來幫助快速收集存在類似問題的概念對。

研究團隊提出了一種名爲Mixture of Concept Experts （MoCE）的方法，將順序作畫的規律融入到 diffusion models 的多步採樣過程中，成功地將消失的茶杯找了回來。

它將整個採樣過程分爲兩個階段:第一階段只提供容易被忽略的概念，第二階段再使用完整的文本提示。通過這種方法，MoCE在生成圖像時能夠更精確地控制文本和圖像之間的對齊。

MoCE方法顯著降低了第5級 LC-Mis 概念對的佔比，甚至在一定程度上超越了需要大量數據標註成本的 Dall・E3（2023年10月版本）。

此外，研究團隊還發現，現有的自動化評價指標在面對這類新問題時存在明顯缺陷。例如，一些評價指標對茶杯中的冰可樂給予了較低的評分，而對透明玻璃杯中的冰可樂卻給予了較高的評分。這表明，即使是評價AI表現的工具本身，也可能存在偏見和侷限性。

研究者們計劃在未來的工作中探索更復雜的LC-Mis場景，並開發可學習的搜索算法來減少迭代次數。他們還計劃擴大數據集中使用的模型類型、模型版本和採樣器類型，並持續迭代數據集收集算法，以增強和擴大數據集。

這項研究不僅爲理解AI在圖像生成中的侷限性提供了新的視角，也爲改進AI的圖像生成能力提供了新的思路和方法。隨着技術的不斷進步，我們期待AI在理解和再現人類創造力方面取得更大的突破。

項目地址：https://lcmis.github.io/

論文：https://arxiv.org/pdf/2408.00230

華爲、復旦聯手打造3D數字人新框架EmoTalk3D:喜怒哀樂表情逼真豐富

在3D數字人領域，南京大學、復旦大學與華爲諾亞方舟實驗室的研究團隊提出了創新性解決方案，針對多視角一致性與情感表現力不足的問題。他們開發了EmoTalk3D數據集，包含了校準多視角視頻、情感標註與逐幀3D幾何信息。通過構建“從語音到幾何再到外觀”的映射框架，研究團隊提出了一種新方法，能夠合成具有可控情感的3D說話頭像，顯著提升了脣同步與渲染質量。數據集的構建與開放，爲非商業研究提供了寶貴的資源。整體流程包括情感內容分解、語音到幾何網絡、高斯優化與完成、幾何到外觀網絡及渲染模塊，實現了在生成結果中捕捉動態面部細節與情感表達的精準呈現。

創新項目EmoTalk3D引領3D說話頭像技術革新實現情感可控與高質量渲染

EmoTalk3D項目在人工智能領域引發關注，通過創建EmoTalk3D數據集，實現了在高保真度下合成情感豐富的3D說話頭像的突破。該項目針對現有技術在多視圖一致性和情感表達方面的不足，提出了一種創新合成方法，增強了脣部同步、渲染質量，並實現了可控的情緒表達。研究團隊設計的“語音到幾何到外觀”映射框架，從音頻特徵預測3D幾何序列，合成4D高斯表示的3D頭像，並通過學習多視圖視頻中的動態面部細節，如皺紋和表情，成功解決了捕捉動態面部細節的難題。實驗結果顯示，該方法在生成高保真度和情緒可控的3D頭像方面表現出色，具有更好的渲染質量和穩定性。項目代碼和數據集已公開發布，爲全球研究人員和開發者提供資源，有望推動3D說話頭像技術在虛擬現實、增強現實、影視製作等領域的發展。

美國電信巨頭Lumen Technologies因AI熱潮獲50億美元訂單，股價飆升93%

美國電信公司Lumen Technologies因AI的快速發展迎來商機，宣佈獲得50億美元新業務訂單，主要針對企業建設更多光纖網絡的需求，以應對AI數據處理的挑戰。Lumen首席執行官凱特・約翰遜表示，AI經濟變革了商業運營，越來越多企業認識到強大網絡基礎設施的重要性。股價在週二上漲約93%，累計今年上漲164.6%。與微軟合作，利用Azure平臺進行內部數字轉型和AI發展。Lumen發佈第二季度財務報告，淨虧損4900萬美元，較去年同期8.7億美元虧損顯著改善。AI需求推動數據中心間連接，Lumen的光纖網絡和數字服務助力公司在AI增長浪潮中發揮關鍵作用。

騰訊元寶AI助手上線長文精讀長文處理能力支持最長近50萬字輸入

騰訊元寶AI助手新增長文精讀功能，爲用戶提供專業內容如論文、財報和研報的深度分析。用戶上傳內容後，可獲取核心概覽、模塊化解析、圖表總結，快速掌握關鍵信息。深度閱讀模式藉助騰訊混元大模型，支持50萬字長文處理，生成圖文並茂分析，包括創新點提煉、專業術語搜索/翻譯、杜邦分析圖等。此功能允許用戶離線查看精讀內容及原文，提升閱讀效率。基於萬億參數的騰訊混元大模型，具備多模態理解和生成能力，在中文大模型多模態理解評測中領先。此外，文生圖大模型已開源，方便開發者應用。

醫療影像分割新紀元！MedSAM-2讓機器讀懂身體的祕密

MedSAM-2基於Segment Anything Model2（SAM2）框架，爲醫療影像分割領域帶來了革命性變革。其核心突破在於將2D和3D影像視作視頻序列處理，實現對三維影像的高效分割。MedSAM-2的“一鍵分割”功能只需用戶在單個圖像上指定目標，模型便能自動在後續圖像中識別並精確分割同一類型物體，無需連續輸入。作爲通用模型，它能夠處理任何圖像中的物體，實現零樣本泛化，並在數據處理上提供高度靈活性。MedSAM-2在性能測試中展現卓越能力，優於傳統全監督分割模型和基於SAM的交互式模型，特別是在一鍵分割設置下的泛化性能。臨牀應用價值顯著，能提高醫療影像分析效率和精確度，對於提升診斷準確性和手術指導具有重要意義。MedSAM-2的問世預示着醫療影像分割技術的嶄新里程碑，其潛在應用領域廣泛，未來有望帶來更多創新可能性。