全球第一部由 AI 完全翻譯配音的電影 《Watch The Skies》即將登陸美國各大院線。這部瑞典語的科幻電影通過Flawless公司的TrueSync技術，實現了人工智能的翻譯和配音。

Flawless不僅將臺詞翻譯成英語，還利用人工智能技術讓影片中所有角色的口型與英語完全同步。效果如此逼真，彷彿電影最初就是用英語拍攝的。

此前，在觀看外語內容的英語配音版本時，觀衆常常感到不適。感謝流媒體平臺的普及，觀看配音的丹麥犯罪劇或西班牙寄宿學校肥皂劇變成了一次令人不安的“恐怖谷”之旅。"恐怖谷"是一個廣泛使用的術語，指的是那些未能讓我們信服、反而將人類相似性混入反烏托邦噩夢的技術。

Flawless希望通過其專有技術TrueSync，讓觀衆在流媒體上觀看熱門節目的同時，晚上還能安穩入睡，不再有不匹配的口型動作和殘酷的場景剪輯的困擾。Flawless是導演Scott Mann和Nick Lynes於2018年創立的公司，Flawless的技術在AI配音領域的翻譯效果令人印象深刻。該公司在今年的戛納電影節上預覽了其作品的精彩片段，Variety網站獨家分享了這一片段。

Flawless的設計旨在保護藝術版權並符合好萊塢工會的規定，這引發了關於國際內容價值及其在美國市場突破潛力的重大問題。Variety網站還可以報告，Flawless已正式進入電影發行領域。該公司與XYZ Films和Tea Shop Productions合資，收購外國電影版權。合作伙伴關係將把這些項目轉換成英語，並以Flawless承諾的“完美口型同步視覺效果”在相關地區發佈。首部發行的影片是Victor Dannell獲獎的科幻喜劇《UFO瑞典》，將以國內標題《Watch the Skies》發佈。預計未來幾個月將有一系列項目推出。

Mann在與Variety的深入訪談中討論了在娛樂業中對AI的恐懼和厭惡，構建道德準則以及恐怖谷的大腦機制。以下是訪談內容:

你是如何開始這個領域的?

這始於2018年，我的背景是電影導演、編劇和製作。我偶然發現了一篇介紹生成性AI給世界的第一篇文章，名爲“Deep Video Portrait”，出自SIGGRAPH會議，這基本上是科學的奧斯卡。它震撼了我。

我一直從事視覺效果領域，很明顯這項技術對我們行業可能產生的影響。我聯繫了那篇論文的作者，這導致了我與這些人以及我的合夥人Nick Lynes一起創立了公司。Christian Theobalt、Pablo Garrido和Hyeongwoo Kim創立了我們的科學部門，並將其發展爲世界上領先的計算機驅動生成科學部門。這是我們的祕密武器。

目前在好萊塢，圍繞AI有很多恐懼和焦慮。有趣的是，你的公司對此持樂觀態度。

我們從電影製作的角度創立了這家公司。我熱愛藝術，我們的任務關鍵是將這項技術視爲具有製造工具的能力。有一種不同的觀點認爲，這旨在根除創意人員並竊取藝術。爲了Napster化它，爲了破壞而粗暴地破壞。但我們相信人類故事的表達，電影是這種表達的最先進形式。技術正在放大這一點，並增加更多的創造力。然後是整個業務的經濟，它依賴於某些保護和對其工作原理的理解。

在這個城市，圍繞AI的教育嚴重缺乏。這對你們的業務有何影響?

這是一個全球性問題。不僅僅是好萊塢。教育和理解是關鍵。有些公司——讓我們稱之爲有缺陷的公司——寧願不教育，因爲這揭示了一種不正當的玩家。你需要誠實地討論它是如何以及在哪裏破壞的，以及積極的一面在哪裏。過去幾年，我們與工作室和工會——包括SAG-AFTRA——優先考慮了理解，並說，“看，這就是應該使用的方式。”下一次AMPTP合同談判是每個人都應該開始談論的事情。有一個變革性的東西正在進入我們的行業，我們應該做好準備。

業界是否在認真關注這個問題?

我可以自信地說，態度上有了巨大的變化。在去年的罷工之前，人們在批准使用AI項目方面採取了謹慎的路線。人們進行了早期的對話，似乎理解了它們，並試圖改進流程。但有一種恐懼，擔心越過界限。這個行業目前在某些地方狀況不佳，許多人不想急於採取錯誤的解決方案。

Flawless是如何構建其道德準則的?

它源於我作爲電影製作人個人經歷的問題。我一直想修復電影配音。我做了一部電影，我非常小心，一部名爲《搶劫》的電影，由羅伯特·德尼羅主演。它是如此親密地製作和細膩，並且很高興交付我們所做的。我看到了被配音的外語版本。劇本被完全重寫，口型完全不同。我意識到，“天哪，難怪事情傳播得不好。”

我有一個修復這個問題的想法，嘗試了很多視覺效果，比如頭部掃描和其他廢話。這並不實用，也沒有跨越詭異谷。這是一種長說法，如果你在移除和破壞對電影有貢獻的整個區域，你就不能以道德的方式做到這一點。我們瞭解到道德和法律權利是相輔相成的。

說到恐怖谷，目前在其目前的形式下觀看配音是非常殘酷的。尤其是流媒體加劇了這一點。

作爲人類，我們非常詳細地研究彼此。如果我們看到有些不尋常的東西，我們的大腦會被編程爲進入高度警戒狀態。在電影製作的演變過程中，我們的大腦被欺騙和重新訓練。你的潛意識正在做檢查現實。如果某些東西不匹配——特別是聲音和視覺——你立即對任何沉浸式的情感和可信度構成了巨大的障礙。想想通過面部、手勢和演員的表演傳達了多少表情，甚至沒有聽到聲音。那裏有很多。所有這些原因都使[目前的配音]成爲一個問題。但有一個明確的問題要解決是好的。

這裏還有一個相當具有變革性的元素，對於國際電影來說。它可以打開一個新的明星市場，消除很多美國語言重拍慶祝的電影。

向電影製作人展示我們的材料，特別是在過去一年，他們意識到從本地舞臺到全球舞臺的潛力。這是一個巨大的機會讓你的作品走出去，這一直令人振奮。他們對向更廣泛的觀衆展示他們的作品感到非常興奮，特別是在美國。

有沒有任何工作室或公司試圖完全收購你們?

是的，當我們第一次來到好萊塢時。我們在2021年有一個非常短的宣傳片，有些人試圖直接開出價格。Nick和我都同意我們想要爲每個人服務，而不僅僅是一個工作室的利益。我們想成爲瑞士，因爲否則會非常有限。但這幫助我們籌集資金並發展公司。這是一個好問題。

你也想要進入發行遊戲。

我們一直把自己看作是某種程度上的工作室。我們希望專注於未來。你需要從前期製作、製作到發佈都正確地做這件事。所有這些階段都受到技術的影響。我的看法是，我們應該讓電影觀衆增加10倍。而且用這些工具以更低的成本製作驚人的電影。如果你看看我們的第一部，《UFO瑞典》，顯然已經被翻譯成英語，但也給了電影製作者自由來增加和改變他們第一次負擔不起的東西。你可以選擇像一個算法組件一樣，嘗試做一份工作，但我認爲真正的力量來自於製作電影和發行。整個事情。就後期製作而言，我們可以做得更多。看看皮克斯，他們可以在發佈之前迭代他們的電影。

合資企業的收購將由Ryan Black、XYZ的James Emanuel Shapiro和Tea Shop的James Harris領導。

參考文章：

https://variety.com/2024/film/news/flawless-ai-lip-dubbing-movies-tv-1236068071/