近期，一項新的研究方法揭示了 AI 模型在學習過程中潛在的能力，超出了人們之前的預期。研究人員通過分析 AI 模型在 “概念空間” 中的學習動態，發現瞭如何讓 AI 系統更好地理解和生成圖像。

機器人 人工智能 AI

圖源備註:圖片由AI生成，圖片授權服務商Midjourney

“概念空間” 是一種抽象的座標系統，能夠表示訓練數據中每個獨立概念的特點，比如物體的形狀、顏色或大小。研究者表示，通過在這個空間中描述學習動態，可以揭示出概念學習的速度，以及學習順序受數據屬性的影響，這一屬性被稱爲 “概念信號”。這個概念信號反映了數據生成過程對概念值變化的敏感度。例如，當數據集中紅色和藍色之間的差異明顯時，模型對顏色的學習速度會更快。

在研究過程中，研究團隊觀察到模型的學習動態會出現突然的方向變化，從 “概念記憶” 轉向 “泛化”。爲了驗證這一現象，他們訓練了一個模型，輸入了 “大的紅色圓圈”、“大的藍色圓圈” 和 “小的紅色圓圈”。在訓練中未出現的 “藍色小圓圈” 組合，模型無法通過簡單文本提示生成。但是，使用 “潛在干預” 技術（即操控模型中負責顏色和大小的激活）和 “過度提示” 技術(即通過 RGB 值增強顏色規格)，研究者成功生成了 “藍色小圓圈”。這表明，儘管模型能夠理解 “藍色” 和 “小” 的組合，但它並未通過簡單的文本提示掌握這一能力。

研究人員還將這一方法擴展到實際數據集，例如 CelebA，它包含多種面部圖像屬性如性別和微笑。結果顯示，模型在生成微笑女性圖像時表現出隱藏能力，而在使用基本提示時則顯得乏力。此外，初步實驗還發現，使用 Stable Diffusion1.4時，過度提示可以生成不尋常的圖像，如三角形的信用卡。

因此，研究團隊提出了一種關於隱藏能力的普遍假設:生成模型具備潛在能力，這些能力在訓練過程中突然且一致地出現，儘管模型在面對普通提示時可能不會表現出這些能力。

劃重點:

🌟 AI 模型在學習過程中展現出潛在的隱藏能力，超出了常規提示所能激發的水平。  

🔍 通過 “潛在干預” 和 “過度提示” 等技術，研究人員能夠激活這些隱藏能力，生成意想不到的圖像。  

📊 研究分析了 “概念空間” 的學習動態，表明不同概念的學習速度受數據特徵的影響。