人工智能領域迎來一項重大突破。AIbase從社交媒體獲悉，字節跳動於近日宣佈開源其全新多模態生成模型Liquid，該模型以創新的統一編碼方式和單一大語言模型（LLM）架構，實現了視覺理解與生成任務的無縫整合。這一發布不僅展示了字節在多模態AI上的技術雄心，也爲全球開發者提供了強大的開源工具。以下是AIbase對Liquid模型的深度解析，探索其技術創新、核心發現及行業影響。

image.png

Liquid模型亮相:統一多模態生成新範式

Liquid是一個基於自迴歸生成的多模態模型，其核心創新在於將圖像和文本編碼到同一個離散token空間，並通過單一LLM同時處理視覺理解和生成任務。AIbase瞭解到，Liquid摒棄了傳統多模態模型對外部預訓練視覺嵌入（如CLIP）的依賴，採用VQVAE(向量量化變分自編碼器)將圖像轉爲離散編碼，與文本token共享特徵空間。這種設計顯著簡化了模型架構，提升了訓練效率。

社交媒體反饋顯示，開發者對Liquid的統一生成能力高度評價。無論是生成高質量圖像、理解複雜視覺場景，還是處理長文本任務，Liquid均展現了卓越性能。AIbase認爲，Liquid的開源發佈（託管於GitHub和Hugging Face）將加速多模態AI的社區創新。

image.png

核心技術:單一LLM驅動多模態任務

Liquid的架構設計圍繞以下關鍵技術點展開:

統一token空間:通過VQVAE將圖像編碼爲離散token，與文本token在同一特徵空間內訓練，使模型能夠無縫切換視覺和語言任務，無需額外的擴散模塊。

單一LLM架構:基於現有LLM（如Qwen2.5、Gemma2）擴展詞彙表，Liquid通過混合訓練(60M多模態數據)同時優化視覺生成、視覺理解和語言能力，節省了100倍的訓練成本。

多模態互促:Liquid發現，視覺生成和理解任務可在統一token空間內相互增強，消除了早期模型中的任務干擾問題。

AIbase分析，Liquid的自迴歸生成方式使其在生成高分辨率圖像（FID5.47，MJHQ-30K）時優於SD v2.1和SD-XL，同時在GenAI-Bench測試中超越其他自迴歸多模態模型，展現了其對複雜提示的語義對齊能力。

突破性發現:規模化消除性能折衷

Liquid的核心研究發現顛覆了多模態訓練的傳統認知。論文指出，在小規模模型中，視覺和語言任務的聯合訓練可能導致語言能力下降。然而，Liquid首次揭示了多模態訓練的規模法則:隨着模型規模從0.5B增至32B，視覺和語言任務的性能折衷逐漸消失，甚至出現相互促進效應。

AIbase從社交媒體獲悉，這一發現引發了開發者熱議。例如，Liquid-7B在視覺生成（VQAscore優於Chameleon）和語言任務(媲美LLaMA2)中均表現出色，驗證了規模化訓練的潛力。AIbase認爲，這一法則爲未來超大規模多模態模型的設計提供了重要指導。

性能與開源生態:開發者的新利器

Liquid的性能表現令人矚目。AIbase整理了其在關鍵基準測試中的成果:

視覺生成:在MJHQ-30K測試中，Liquid-7B的FID值爲5.47，優於SD-XL和Chameleon，生成的圖像在細節和語義一致性上表現出色。

視覺理解:在GenAI-Bench的複雜視覺-語言推理任務中，Liquid超越其他自迴歸模型，接近擴散模型的性能。

語言能力:得益於高質量混合訓練，Liquid在文本任務中保持與主流LLM（如LLaMA2）相當的水平。

Liquid的開源策略進一步放大了其影響力。AIbase瞭解到，Liquid提供從0.5B到32B的多種模型規模，開發者只需基本的transformers庫即可運行推理或評估，無需複雜環境依賴。社交媒體上，開發者已開始基於Liquid開發創意應用，如文本驅動的藝術生成和多模態問答系統。

行業影響:重塑多模態AI格局

Liquid的發佈鞏固了字節跳動在多模態AI領域的全球競爭力。AIbase觀察到，相較於OpenAI的Chameleon（需從頭訓練）或谷歌的Gemini(依賴外部視覺編碼器)，Liquid以更低的訓練成本和更高的靈活性提供了可比性能。其開源模式和低成本API(輸入每百萬token0.2美元，輸出1.1美元)使其對中小企業和獨立開發者極具吸引力。

對於行業，Liquid的統一生成範式爲短視頻創作、虛擬助手和教育內容生成等場景開闢了新可能。例如，營銷團隊可利用Liquid快速生成品牌風格的視頻素材，教育機構可創建交互式多模態課程。AIbase預計，Liquid的開源生態將催生更多基於其架構的定製模型，推動多模態AI的普及。

挑戰與展望:邁向更廣應用

儘管Liquid表現出色，AIbase注意到社交媒體上用戶提到的一些挑戰。例如，小規模模型的性能折衷仍需優化，複雜場景的生成可能出現細節失真。AIbase建議開發者結合高質量數據集和精細提示詞以提升輸出效果。此外，模型的數據隱私和倫理使用需進一步明確，尤其在生成敏感內容時。

展望未來，字節跳動計劃擴展Liquid的模態支持（如音頻、視頻），並探索分佈式訓練以進一步降低成本。AIbase預計，隨着社區貢獻的增加，Liquid或將在多模態代理和實時交互領域實現更大突破。

論文地址：https://arxiv.org/pdf/2412.04332