港中文賈佳亞團隊最新推出的ControlNeXt簡直是AI界的"減肥神器"!這個開源圖像/視頻生成引導工具不僅體型小巧，與Stable Diffusion家族的常見模型如SDXL、SD1.5等完美適配，而且還是即插即用的，大大簡化了使用過程。

image.png

ControlNeXt支持多種控制模式，包括邊緣引導、姿勢控制、遮罩和景深控制等。它甚至可以讓鋼鐵俠跳起美女舞蹈，動作精準到手指，展示了其強大的控制能力。

ControlNeXt的"減肥祕訣"在於它巧妙地移除了ControlNet中的"大胃王"控制分支，換成了由少量ResNet塊組成的"輕食套餐"。這個小巧玲瓏的模塊雖然只有原來十分之一的體積，卻能完美地提取各種控制條件的特徵。

QQ截圖20240818145321.png

不僅如此，ControlNeXt還是個"學習天才"。它只需要400步就能學會新技能，而ControlNet卻需要磨蹭個幾千步。在生成速度上，ControlNeXt更是一騎絕塵，僅帶來10.4%的延時，而ControlNet則需要整整41.9%。

ControlNeXt的另一個"獨門絕技"是交叉歸一化。這項技術就像是給特徵們開了個"聯誼派對"，讓它們的數據分佈儘量對齊，從而避免了參數初始化的敏感性，還能讓控制條件在訓練初期就發揮作用。

ControlNeXt就像是AI界的"變形金剛"，小巧靈活yet功能強大。它不僅能讓二次元少女完美貼合控制線條，還能創造出風格迥異的跨次元角色。有了這個神器，相信很快我們就能看到更多令人驚歎的AI藝術作品了!

項目主頁：https://pbihao.github.io/projects/controlnext/index.html