最近,AI 視頻創作平臺 D-ID 推出了一款全新的 AI 視頻翻譯工具——AI Video Translate。這款工具可以視頻翻譯成多種語言,而且不僅如此,D-ID 還會克隆講述的聲音,並調整口型,以確保翻譯後的內容和視頻畫面完全契合。
產品入口:https://top.aibase.com/tool/d-id-ai-video-translate
該工具可實現的效果包括:
語音克隆:自動克隆說話者的聲音,以實現跨語言一致性
脣部運動適應:完美同步說話者的脣部運動,打造自然外觀。
批量渲染:將您的視頻快速翻譯成多達29種語言
用戶友好的界面:拖放功能和直觀的設計使任何人都可以輕鬆使用。
這項技術的背後,源於 D-ID 之前的一些創新工作,比如幾年前,用戶能夠讓老照片 “復活”,讓這些照片 “說”,引發了廣泛的關注。
爲了支持其不斷增長的企業客戶,D-ID 在2022年了2500萬美元的 B 輪融資。如今,新推出的 AI 視頻翻譯技術目前對 D-ID 的訂閱用戶免費提供。創作者們可以通過這項技術將他們的視頻自動翻譯成30種語言,包括阿拉伯語、普通話、日語、印地語、西班牙語和法語等,這將有助於他們拓展受衆。
D-ID 表示,這項新技術能夠幫助客戶在全球範圍內推廣他們的營銷、娛樂和社交媒體活動,從而節省本地化成本。過去,配音技術讓視頻觀衆能夠用自己熟悉的語言收聽音頻,但對一些小型創作者來說,這種技術往往難以接觸。
技術的進步,情況正在改變。例如,YouTube 近期推出了一項多語言音頻功能,幫助創作者們將視頻翻譯成其他語言。知名YouTube創作者 MrBeast(吉米・唐納森)便是早期的使用者之一,他利用這項技術將幾部熱門視頻翻譯成11種語言。
如今,AI 技術的發展,創造、翻譯和克隆聲音的能力也在不斷提升。今年,微軟宣佈使用 AI 來實時翻譯和配音 YouTube 視頻,而 Vimeo 也在七月推出了工具,支持翻譯音頻和字幕,並能使用 AI 技術複製講述者的聲音。此外,還有許多公司提供語音克隆或 AI 翻譯工具,包括 Descript、ElevenLabs、Speechify 等。
D-ID 的新視頻翻譯技術將通過 D-ID Studio 及其 API 提供。公司還提供一個爲期一個月的試用,更多演示可以在其官方網站上找到。根據要求,視頻長度需在10秒至5分鐘之間,文件大小不得超過2GB,並且視頻中最好只包含一位面對鏡頭、面部始終可見的講述者,以獲得最佳效果。
劃重點:
✨ D-ID 推出 AI 視頻翻譯工具,支持30種語言的自動翻譯,並進行語音克隆和口型同步。
🌍 該工具將幫助企業客戶降低全球推廣的本地化成本,拓展受衆。
🎥 目前,視頻支持的時長爲10秒至5分鐘,文件大小限制在2GB 以內。