最近,Hedra Labs推出了Character-1的研究預覽版,該技術允許用戶根據任意人物照片和語音內容生成個人說話和唱歌的動態視頻。
想象一下,你上傳一張人物照片,再配上任意的語音內容,瞬間就能生成一段動態視頻,讓照片中的人物彷彿有了生命,開始說話或者唱歌,而且脣形、表情、姿態都和語音內容完美匹配!是不是有點小激動呢?
Hedra Labs官方演示視頻
主要特性和功能亮點:
多平臺兼容性:無論是桌面還是移動設備,用戶都可以輕鬆使用Character-1。
無限時長生成:目前開放預覽版支持30秒的視頻生成,如果H100供應充足,每60秒可生成90秒的內容。
支持多種表達形式:Character-1不僅支持對話,還能處理歌唱和說唱等表達形式。
Hedra提供了一個用戶友好的界面,即使是非專業人士也能快速上手。用戶可以訪問Hedra的官網,通過文字轉語音功能或直接上傳音頻文件,輸入角色描述,然後生成動態視頻。
Hedra的AI技術確保了視頻內容的高質量和逼真度,無論是人物的表情、姿態還是語音的同步性,都能達到令人滿意的效果。
從官方提供的案例來看,Character-1可以完美演繹唱歌、演戲以及表現不同情緒的角色。該技術不僅限於人類角色,甚至還能生成表現豐富的無生命物體,只要這些物體具有明顯的面部特徵。
使用方法也非常簡單,具體步驟如下:
打開hedra體驗地址:https://top.aibase.com/tool/hedra
進入頁面後可以看到這個操作界面
界面很簡單,第一個框輸入你的角色臺詞,並選擇一個聲音,當然如果你不想用生成的音頻也可以導入自己的音頻
在這裏我簡單輸入一句“哈囉,這是由AIbase創建的說話視頻,今天帶大家體驗一下Hedra,讓視頻生成變得像呼吸一樣簡單”。
然後在第二個框上傳我想要說話的圖片,這裏上傳一張我之前製作的美女寫真。
沒有現成圖片的也可以直接在下面的文字框中輸入你的角色,並點擊創建來生成。
圖片上傳完成後,在第三個框下方點擊生成視頻即可。
下面是生成的視頻效果:
可以看到,Hedra生成的說話視頻,人物是比較靈動的,不是隻有嘴巴動,身體的其他部位也會動,而且還會有表情。不過由於平臺可供選擇的聲音很少,老外的口音和我的圖片人物不是很搭,還有一個美中不足的是,生成後的視頻要比我原圖模糊了不少,希望平臺後續提升一下畫質。
這裏我自己上傳一段音頻,音頻我直接用剪映生成,選擇了一個女生的音色,直接輸入文本然後朗讀。
重新測試一下:
選擇導入音頻
生成效果如下:
然後模糊的問題可以使用krea ai的視頻增強功能解決,不過要注意,免費體驗的,視頻時長不能超過10秒,超過的只能自己裁剪一下了。而且幀率不要選太高,我選的60幀每秒,弄到一半要付費升級了,哭暈在廁所~