先理解再动手！字节开源统一框架 Bernini，让 AI 视频编辑告别“碰运气”

AI 视频生成与编辑领域迎来底层逻辑的重构。字节跳动商业化技术团队近日正式开源了面向视频生成与视频编辑的统一框架——Bernini。该框架核心主打“先理解、再生成”的协同机制，旨在解决传统模型因无法精准理解复杂文本指令而导致画面失控、帧间闪烁等行业痛点。

传统的视频编辑往往面临主体变形、背景漂移或动作断裂等技术瓶颈。为了打破这一僵局，Bernini巧妙地将工作流拆分为“语义规划”与“视觉渲染”两部分。系统首先通过多模态大模型规划器（MLLM-based planner）深度解析文本、视频及参考图像等输入素材，在特征空间中预测出目标语义表示，即勾勒出一张不限定像素的“语义草图”;随后，再由基于 Diffusion Transformer 的渲染器(DiT-based renderer)进行高质量视觉渲染，将规划好的语义目标转化为稳定、连续的视频画面。

得益于这一分工，Bernini在可控编辑上展现出了极高的实用价值。用户不仅能通过一条指令让画面中的天气、季节、材质和视觉风格发生逼真自然的变化，还能实现对镜头视角、焦点以及主体动作的精准语义控制。例如，在保持环境与镜头高度稳定的前提下，系统可让视频中的动物动作发生自然改变，让 AI 视频编辑更接近传统后期软件的精准度。

除了文本操控，Bernini还支持图片和视频作为视觉参考，大幅提升了创作的一致性。在视频编辑场景中，它可以将特定材质、指定主体甚至广告海报与视频素材精准植入目标区域，确保边界不破、透视不乱;而在新视频生成场景中，该模型支持单图参考生成、多角度参考生成、关键帧到连续镜头的演变，甚至能将几个八竿子打不着的单品图像完美组合到同一个视频角色身上。

为了解决多视觉片段串联时模型容易认混的难题，团队还引入了 SA-3D RoPE 位置编码机制，赋予不同视觉片段专属标记，从而在保留时空位置关系的同时分清参考素材与输出目标。目前，在字节自建的测试中，该框架已稳居行业第一梯队。据悉，Bernini的推理代码与第二阶段模型 Bernini-R 权限已正式放开，包含完整 MLLM 规划器的全版本也将在近期迎来全面开放。