最近、OpenAIのWhisper技術を搭載したAI転写ツールが医療業界で広く利用されています。多くの医師や医療機関がこのツールを使用して、患者との面談の記録や要約を行っています。

ABCニュースの報道によると、研究者らは、このツールが特定の状況下で「幻覚」現象を起こし、場合によっては完全に内容をでっち上げることもあることを発見しました。

Nabla社が開発したこの転写ツールは、700万回を超える医療会話の転写に成功しており、現在3万人以上の臨床医と40の医療システムで使用されています。それにもかかわらず、Nabla社もWhisperが幻覚を起こす可能性を認識しており、問題解決に向けて努力していると述べています。

コーネル大学、ワシントン大学などの機関の研究者チームが行った研究では、Whisperが約1％の転写で幻覚を起こすことがわかりました。これらの場合、ツールは録音の無音部分に意味のないフレーズをランダムに生成したり、時には暴力的な感情を表すことさえあります。これらの研究者は、TalkBankのAphasiaBankから音声サンプルを収集し、言語障害のある患者が話す場合、無音の現象が特に多いことを指摘しました。

image.png

コーネル大学の研究者アリソン・コーネッケ（Allison Koenecke）は、ソーシャルメディアでWhisperが生成した幻覚の内容を示すいくつかの例を共有しました。研究者らは、ツールが生成した内容には、架空の医学用語や、「ご視聴ありがとうございました！」のようなYouTube動画のようなフレーズが含まれていることを見つけました。

この研究は6月にブラジルのコンピュータ協会FAccT会議で発表されましたが、査読済みかどうかは現時点では不明です。この問題について、OpenAIの広報担当者タヤ・クリスチャンソン（Taya Christianson）は「The Verge」のインタビューで、この問題を非常に重視しており、特に幻覚の減少に向けて改善を継続していくと述べています。同時に、彼女は、彼らのAPIプラットフォームでWhisperを使用する際には、特定の高リスク意思決定環境での使用を禁止する明確な利用規約があると述べています。

要点：

🌟 Whisper転写ツールは医療業界で広く使用されており、700万件以上の医療会話の転写が完了しています。

⚠️ 研究によると、Whisperは約1％の転写で「幻覚」を起こし、意味のない内容を生成することがあります。

🔍 OpenAIは、特に幻覚現象の減少に向けて、ツールの性能向上に努めていると述べています。