AIによる完全自動翻訳吹き替えを採用した世界初の映画『Watch The Skies』が、まもなく全米の映画館で公開されます。このスウェーデン語のSF映画は、Flawless社のTrueSync技術によって、人工知能による翻訳と吹き替えを実現しました。

Flawless社は、セリフを英語に翻訳するだけでなく、人工知能技術を用いて、映画の登場人物全員の口の動きを英語のセリフと完全に同期させました。その精度は驚くほど高く、まるで英語で撮影された映画のように見えます。

これまで、外国語コンテンツの英語吹き替え版を見ると、違和感を感じる事がよくありました。ストリーミングサービスの普及により、吹き替え版のデンマークの犯罪ドラマやスペインの寄宿学校を舞台にしたメロドラマを見ることは、不気味な「不気味の谷」体験となりました。「不気味の谷」とは、私たちを納得させず、かえって人間の類似性をディストピア的な悪夢に混ぜ込んでしまう技術を指す広く使われている用語です。

Flawless社は、独自のTrueSync技術によって、視聴者がストリーミングで人気番組を視聴しながら、口の動きの不一致や不自然なシーンのカットに悩まされることなく、安心して眠りにつけるようにしたいと考えています。2018年にスコット・マンとニック・ラインズによって設立されたFlawless社は、AI吹き替え分野でその技術が非常に優れた翻訳効果を生み出しています。同社は今年のカンヌ映画祭で作品の一部をプレビューし、Variety誌が独占的にその映像を公開しました。

Flawless社の設計は、芸術著作権を保護し、ハリウッドの組合の規定に準拠することを目的としており、国際的なコンテンツの価値とその米国市場でのブレイクの可能性に関する重要な問題を引き起こしています。Variety誌は、Flawless社が正式に映画配給分野に進出したことも報じています。同社はXYZ FilmsとTea Shop Productionsと合弁事業を設立し、外国映画の版権を取得しています。このパートナーシップにより、これらの作品を英語に翻訳し、Flawless社が約束する「完璧な口パク同期視覚効果」で関連地域で公開されます。最初の公開作品は、ビクター・ダネル監督の受賞歴のあるSFコメディ『UFOスウェーデン』で、国内タイトルは『Watch the Skies』となります。今後数ヶ月で、一連のプロジェクトが公開される予定です。

マン監督はVariety誌との詳細なインタビューで、エンターテイメント業界におけるAIへの恐怖と嫌悪、倫理規範の構築、そして不気味の谷の脳のメカニズムについて議論しました。インタビューの内容は以下のとおりです。

この分野を始めたきっかけは？

それは2018年に始まりました。私の経歴は映画監督、脚本家、プロデューサーです。偶然にも、SIGGRAPH会議（科学界のアカデミー賞のようなもの）で発表された「Deep Video Portrait」という、生成AIが世界にもたらす影響についての記事を見つけました。衝撃を受けました。

私はずっと視覚効果の分野で仕事をしてきましたが、この技術が私たちの業界に及ぼす可能性のある影響は明らかでした。論文の著者と連絡を取り、それが、彼らと私のパートナーであるニック・ラインズと共に会社を設立することになりました。クリスチャン・セオバルト、パブロ・ガリド、ヒョンウ・キムが私たちの科学部門を設立し、世界をリードするコンピューター駆動型生成科学部門に発展させました。これが私たちの秘密兵器です。

現在ハリウッドでは、AIをめぐって多くの恐怖と不安があります。面白いことに、あなたの会社は楽観的な見方をしていますね。

私たちは映画制作の観点から会社を設立しました。私は芸術を愛しており、私たちの任務は、この技術を創造的なツールとして捉えることです。創造的な人材を排除し、芸術を盗むことを目的としているという異なる見方もあります。それをNapster化し、破壊のために乱暴に破壊することです。しかし、私たちは人間の物語の表現を信じており、映画はその最先端の形態です。技術はそれを拡大し、より多くの創造性を加えています。そして、ビジネス全体を支える経済があり、それはある程度の保護と、その仕組みの理解に依存しています。

この業界では、AIに関する教育が深刻に不足しています。あなたのビジネスにどのような影響がありますか？

これは世界的な問題です。ハリウッドだけではありません。教育と理解が鍵です。一部の企業（欠陥のある企業と呼びましょう）は、教育を避けています。不正なプレイヤーであることが明らかになるからです。それがどのように、どこで破壊的なものになり、どこでプラスになるのかを正直に議論する必要があります。過去数年、私たちはスタジオや組合（SAG-AFTRAを含む）と協力して理解を優先し、「これが適切な使用方法です」と言ってきました。次回のAMPTP契約交渉は、誰もが話し始めるべきことです。変革的なものが私たちの業界に参入しており、私たちは準備を整えておくべきです。

業界はこの問題に真剣に取り組んでいますか？

自信を持って言えますが、態度は大きく変化しました。昨年のストライキ以前は、AIプロジェクトの使用を承認する際に慎重な姿勢を取っていました。初期の段階で話し合いが行われ、理解を示し、プロセスを改善しようとしていました。しかし、線を越えることへの恐怖がありました。この業界は現在、一部の場所で状態が悪く、多くの人が間違った解決策を急いで採用したくありません。

Flawless社はどのように倫理規範を構築したのですか？

それは、映画製作者としての私の個人的な経験から生まれた問題です。私はずっと映画の吹き替えを改善したいと思っていました。私は非常に注意深く制作した映画、ロバート・デ・ニーロ主演の『The Heist』という映画を作りました。それは非常に綿密に制作され、繊細で、私たちがやったことに満足していました。そして吹き替え版の外国語バージョンを見ました。脚本は完全に書き換えられ、口の動きは全く違っていました。「しまった、うまくいかないわけだ」と気づきました。

この問題を解決する方法があり、ヘッドスキャンなどの視覚効果を試しました。しかし、それは実用的ではなく、不気味の谷を超えることはありませんでした。長い話になりますが、映画に貢献している領域全体を取り除き、破壊するのであれば、倫理的にそれを行うことはできません。倫理と法的権利は表裏一体であることを理解しました。

不気味の谷について言えば、現在の形で吹き替えを見ることは非常に残酷です。特にストリーミングサービスがそれを悪化させています。

人間として、私たちは互いを非常に詳細に研究します。何か異常なものを見ると、脳は高度な警戒状態に入るようにプログラムされています。映画制作の進化の中で、私たちの脳は騙され、再訓練されてきました。あなたの潜在意識は現実確認をしています。何かが一致しない場合、特に音声と視覚が一致しない場合、没入型の感情と信頼性に対して大きな障害がすぐに生じます。顔、身振り、俳優の演技でどれだけの表情が伝えられているか、声を聞かなくても考えてみてください。そこには多くのものがあります。これらすべての理由から、[現在の吹き替え]は問題となっています。しかし、解決すべき明確な問題があることは良いことです。

国際映画にとって、ここではかなり変革的な要素もあります。それは新しいスター市場を開拓し、多くのアメリカ語のリメイクで祝われている映画を排除することができます。

特に過去1年間、映画製作者に私たちの素材を見せると、彼らは地元の舞台から世界の舞台への可能性に気づきました。これは、あなたの作品を世界に送り出すための大きな機会であり、それは常に刺激的です。彼らは、特にアメリカで、より幅広い視聴者に自分の作品を見てもらうことに非常に興奮しています。

完全に買収しようとしたスタジオや企業はありますか？

はい、私たちが初めてハリウッドに来たときです。2021年に非常に短いプロモーションビデオがあり、直接価格を提示しようとした人がいました。ニックと私は、単一のスタジオの利益だけでなく、すべての人々にサービスを提供したいという点で意見が一致していました。そうでなければ非常に制限されるため、私たちはスイスでありたいと思っています。しかし、それは資金調達と会社の成長に役立ちました。良い質問ですね。

配給ゲームにも参入したいとのことですが。

私たちは、ある程度スタジオだと考えてきました。私たちは未来に焦点を当てたいと思っています。前期制作、制作、公開まで、すべて正しく行う必要があります。これらのすべての段階は技術の影響を受けています。私の考えでは、映画視聴者を10倍に増やすべきです。そして、これらのツールを使って、より低いコストで素晴らしい映画を作るべきです。私たちの最初の作品である『UFOスウェーデン』を見てください。明らかに英語に翻訳されていますが、映画製作者にも、最初は手の届かなかったものを追加し、変更する自由を与えています。アルゴリズムコンポーネントのように、作業を試みることもできますが、真の力は映画制作と配給にあると思います。すべてのことです。ポストプロダクションに関しては、もっとできることがあります。ピクサーを見てください。彼らは公開前に映画を反復できます。

合弁企業による買収は、Ryan Black氏、XYZのJames Emanuel Shapiro氏、Tea ShopのJames Harris氏によって主導されます。

参考記事：

https://variety.com/2024/film/news/flawless-ai-lip-dubbing-movies-tv-1236068071/