急速に発展する音声合成技術を背景に、音声偽造が深刻化し、ユーザーのプライバシーと社会の安全に大きな脅威をもたらしています。この度、浙江大学知能システム安全研究所と清華大学が共同で、新型の音声偽造検知フレームワーク「SafeEar」を発表しました。

このフレームワークは、音声コンテンツのプライバシーを保護しつつ、効率的な偽造検知を実現し、音声合成技術による脅威に効果的に対処することを目指しています。

SafeEarのアイデアは、ニューラルオーディオコーデックベースのデカップリングモデルを設計することで、音声の音響情報と意味情報を巧みに分離することです。つまり、SafeEarは音響情報のみを用いて偽造検知を行うため、音声の完全なコンテンツにアクセスする必要がなく、プライバシー漏洩を効果的に防止できます。

フレームワーク全体は4つの主要な部分で構成されています。

まず、フロントエンドのデカップリングモデルが入力音声からターゲットとなる音響特徴量を抽出します。次に、ボトルネック層と混同行列層が次元削減と音響特徴量のシャッフルを行い、コンテンツ窃取に対する耐性を向上させます。3番目に、偽造検知器がTransformer分類器を用いて、オーディオが偽造されているかどうかを判定します。最後に、リアル環境拡張モジュールが様々なオーディオ環境をシミュレートすることで、モデルの検知能力をさらに向上させます。

image.png

プロジェクト入口: https://github.com/LetterLiGo/SafeEar?tab=readme-ov-file

複数のベンチマークデータセットを用いた実験で、SafeEarのエラー率はわずか2.02％であることがわかりました。これは、ディープフェイクオーディオの識別において非常に有効であることを意味します！さらに、SafeEarは5種類の言語の音声コンテンツを保護し、機械や人間の耳による解析を困難にし、単語誤り率は93.93％に達します。同時に、テストを通じて、攻撃者が保護された音声コンテンツを復元できないことが確認され、プライバシー保護におけるこの技術の優位性が示されました。

さらに、SafeEarチームは、英語、中国語、ドイツ語、フランス語、イタリア語など、150万件以上の多言語音声データを含むデータセットを構築し、将来の音声偽造検知と研究のための豊富な基礎資料を提供しています。

SafeEarの登場は、音声偽造検知分野に新たなソリューションをもたらすだけでなく、ユーザーの音声プライバシー保護への道も切り開きました。

要点：

  • 🎤 **SafeEarの革新的フレームワーク**: 音声コンテンツを漏洩させることなくディープフェイクオーディオを検知し、ユーザーのプライバシーを保護します。
  • 🔍 **マルチヘッドセルフアテンション機構**: 意味情報がない状況下でもディープフェイクオーディオの識別能力を高め、エラー率はわずか2.02％です。
  • 🔒 **音声コンテンツ保護**: 複数の言語の音声データが解析されないよう効果的に保護し、単語誤り率は93.93％に達します。