隨着大模型技術突飛猛進,圖片放大變高清已成常態,但視頻高清化仍是一大挑戰。近日,香港理工大學與OPPO研究院聯合推出開源框架DLoRAL,基於擴散模型(Diffusion Model),實現一步生成高質量視頻,打破傳統多次迭代的低效瓶頸,爲視頻超分辨率領域帶來新突破。
DLoRAL的技術架構獨具匠心。首先,它採用雙LoRA架構:C-LoRA專注於維持視頻幀間的時間一致性,確保畫面流暢無閃爍;D-LoRA則負責增強空間細節,提升清晰度和銳利度。其次,框架引入雙階段訓練策略,分爲一致性階段和增強階段。一致性階段優化時間連貫性,防止相鄰幀跳躍;增強階段聚焦高頻信息,顯著提升畫面細節表現。
得益於這些創新,DLoRAL在保持視頻流暢性的同時,大幅提升清晰度和細節,性能超越傳統視頻超分辨率方法,且推理速度提升約10倍。作爲開源項目,DLoRAL爲研究者和開發者提供高效工具,助力視頻內容創作邁向新高度。