還在爲那些珍貴視頻裏的模糊人臉發愁嗎?別擔心，科技界的新寵兒KEEP技術來了!這個神奇的"美顏大師"不僅能讓你的視頻人臉清晰度飆升，還能讓每一個表情都栩栩如生。

比如，你翻出了多年前拍攝的家庭視頻，卻發現畫面模糊得只能看到一團團像素。現在，有了KEEP技術，這些珍貴的回憶瞬間就能變得清晰可見。它就像是給你的視頻裝上了一副超級眼鏡，讓每一個細節都無所遁形。

1.png

KEEP技術的核心在於其創新的“基於卡爾曼濾波的特徵傳播”框架。KEEP技術通過在時間上保持穩定的面部先驗信息，利用卡爾曼濾波原理，使得先前恢復幀中的信息能夠指導當前幀的恢復過程，從而在捕捉視頻幀間的面部細節一致性方面表現出色。

別被這個高大上的名字嚇到，簡單來說，它就像是一個超級聰明的偵探，能夠從之前的視頻幀中搜集線索，然後用這些線索來推理出當前幀應該呈現的最佳面貌。

這項技術不僅能夠顯著提高視頻的清晰度，特別是在恢復人臉細節方面，如眼睛、鼻子、嘴巴等，效果更是自然、清晰。

實驗結果表明，即使在視頻質量嚴重退化的情況下，KEEP方法也能有效地恢復人臉細節，避免了其他方法常見的模糊和失真問題。

KEEP框架由編碼器、解碼器、卡爾曼濾波網絡和跨幀注意力（CFA）機制四個模塊組成。編碼器和解碼器共同構建了一個高效的VQGAN生成模型，而卡爾曼濾波網絡則負責促進時間信息的傳播，維持穩定的潛在代碼先驗。這四個部分就像是一個默契十足的團隊，共同努力讓你的視頻畫質達到前所未有的高度。

跨幀注意力層進一步促進了局部時間一致性，規範化了信息的傳播。這些設計的結合，使得KEEP技術在累積證據和增強視頻面部超分辨率的時間一致性方面具有顯著優勢。

項目地址：https://top.aibase.com/tool/keep

論文地址：https://arxiv.org/pdf/2408.05205