在當今數據可視化領域，生成準確反映複雜數據的圖表仍然是一項微妙的挑戰。圖表不僅需要捕捉精確的佈局、色彩和文本位置，還需將這些視覺細節轉化爲代碼，以重現預期的設計。然而，傳統方法通常依賴於直接提示視覺 - 語言模型（VLM），如 GPT-4V，這在將複雜視覺元素轉化爲語法正確的 Python 代碼時，常常遇到困難。即使是微小的差錯也可能導致圖表未能達到設計目標，這在金融分析、學術研究和教育報告等領域尤其重要。

爲了解決這個問題，來自 UCLA（加利福尼亞大學洛杉磯分校）、UC Merced 和 Adobe 研究團隊提出了一個新的框架，名爲 METAL。該系統將圖表生成任務分解爲一系列由專門代理管理的集中步驟。

QQ_1740983535829.png

METAL 框架包括四個關鍵代理:生成代理、視覺評估代理、代碼評估代理和修訂代理。生成代理負責初步生成 Python 代碼，視覺評估代理評估生成的圖表與參考圖的相符程度，代碼評估代理審查生成的代碼以捕捉任何語法或邏輯錯誤，最後修訂代理根據評估反饋調整代碼。

METAL 的模塊化設計是其一大亮點。它通過將視覺解讀和代碼生成的任務分配給不同的代理，使每個代理可以專注於其特定功能。這種方法確保了圖表的視覺和技術元素都得到充分考慮和調整，從而提高了生成圖表的準確性和一致性。

在實驗中，METAL 在 ChartMIMIC 數據集上進行了性能評估，結果顯示其在文本清晰度、圖表類型準確性、色彩一致性和佈局精度等優於傳統方法。與開源模型 LLAMA3.2-11B 和閉源模型 GPT-4O 的比較顯示，METAL 生成的圖表更接近參考圖的準確性。

此外，研究還通過消融實驗強調了視覺和代碼評估機制分開的重要性。當這兩個組件合併爲一個評估代理時，性能往往下降，這表明專門化的評估方法對高質量圖表生成至關重要。

QQ_1740983555988.png

METAL 通過將任務分解爲專門的、迭代的步驟，提供了一種平衡的多代理方法。這種方法不僅促進了視覺設計向 Python 代碼的精確轉換，還爲錯誤檢測和修正提供了系統化的流程。隨着計算資源的增加，METAL 的性能表現也呈現出接近線性的提升，這爲其在精確要求較高的應用場景中提供了實用潛力。

項目:https://metal-chart-generation.github.io/

劃重點:  

🌟 METAL 框架由 UCLA、UC Merced 與 Adobe 聯合提出，旨在優化圖表生成過程。  

🔍 框架包含四個專門的代理，分別負責生成、評估和修訂圖表，確保視覺和技術元素得到妥善處理。  

📈 實驗結果表明，METAL 在圖表生成的準確性和一致性方面優於傳統方法，展現出良好的實用潛力。