騰訊最近推出了一項創新項目，名爲LVCD（Large Video Color Diffusion），這是一個專門爲動畫視頻線稿上色的小工具。LVCD能夠自動將黑白線稿轉化爲彩色動畫視頻，帶來了一系列突破性的功能。

高效的線條動畫視頻着色

LVCD 是一種新興的視頻擴散框架，旨在實現基於參考的線條動畫視頻着色化。與以往僅依賴圖像生成模型逐幀爲線條圖上色的方法不同，該方法利用大規模預訓練的視頻擴散模型生成色彩豐富的動畫視頻。這種創新方法不僅能保證更高的時間一致性，還能更有效地處理大幅度運動。

草圖引導的ControlNet

LVCD 引入了草圖引導的 ControlNet 技術，這爲圖像到視頻的擴散模型提供了額外的控制，使得動畫視頻的生成可以更好地基於線條圖進行調控。這種技術顯著提升了動畫生成的可控性和質量。

參考注意力機制

LVCD 還提出了參考注意力機制，這一機制能夠有效地將參考幀的色彩轉移到其他幀，尤其是在快速和大範圍運動的場景中。這種特性確保了在動畫製作中，即使在複雜運動下也能保持色彩的一致性。

新穎的序列採樣技術

在推理階段，LVCD 採用了一種新的序列採樣方案，結合重疊混合模塊和先前參考注意力，使得模型能夠超越原有的固定長度限制，生成長時間序列的色彩一致動畫。這意味着 LVCD 可以處理多種類型的線稿輸入，包括手繪線稿和自動生成的線稿，並生成不限長度的長時間視頻。

核心功能

基於參考幀的高效線條動畫視頻着色:LVCD 可以利用參考幀中的顏色信息，將這些顏色準確遷移到其他幀中。

草圖引導的 ControlNet:增強動畫生成的可控性。

參考注意力機制:確保色彩在快速運動中的一致性。

新穎的序列採樣技術:擴展視頻生成的時間長度。

顯著提升的幀和視頻質量:適用於複雜的動畫製作場景。

實驗結果

LVCD 的實驗結果顯示，該方法在幀和視頻質量以及時間一致性方面顯著超越了現有的最先進技術。通過高質量的長時間一致動畫生成，LVCD 爲動畫創作提供了全新的解決方案，使得製作複雜動畫變得更加高效和直觀。

這項技術的推出標誌着騰訊在動畫製作領域又邁出了一大步，未來將爲動畫創作者帶來更大的便利和創作自由。

項目地址：https://luckyhzt.github.io/lvcd