人工知能による学術的な不正行為に対処するため、ニューヨーク大学の教授は革新的な方法を採用しました。「AI/ML製品管理」という授業で口頭試問の実験を行い、学生の知識のギャップや自身の教育の不十分さを明らかにしました。教授のパノス・イペイロティスと共同講師のコンスタンティノス・リザコスは、高品質な書面作業を提出した多くの生徒が、口頭試問では自らの作業における基本的な意思決定を明確に説明できなかったことを発見しました。

AIライティングロボット

図の出典：AI生成画像、画像のライセンス提供元はMidjourney

従来の評価方法の限界を克服するために、彼らはElevenLabsの音声AIエージェントを利用したAI口頭試問を導入しました。この試験は2つのパートから構成され、最初にAIエージェントが最終プロジェクトの目的、データ、モデリングの意思決定、評価および失敗パターンに関する質問を行います。その後、AIはコース内のケーススタディの一つをランダムに選んで質問します。36人の生徒が9日間かけて口頭試問を受け、1回の試験平均所要時間は25分で、総費用は15ドルにとどまり、一人あたりのコストは42セントでした。

第一版のAI口頭試問にはいくつかの問題があり、例えば生徒がAIの態度が過酷だと感じたり、複数の質問を同時に投げかけられることでコミュニケーションが難しくなるなどの課題がありました。調整後、AIのパフォーマンスは改善されました。評価に関しては、Claude、Gemini、ChatGPTという3つのAIモデルを使って共同で評価する方法を採用しました。初期の評価の一貫性は低かったものの、相互審査を行うことで評価の正確性が向上しました。

多くの生徒がAI口頭試問は書面試験よりストレスを感じると述べたものの、70％の生徒はこの試験が実際に理解力を測るのに役立ったと述べました。Ipeirotis教授は、AI技術により口頭試問の実施が可能となり、生徒はAIとのインタラクションの練習を通じて自身の能力を向上させることができると言いました。

重要なポイント:

📊 口頭試問での生徒のパフォーマンスの悪さは、知識と書面作業の間にギャップがあることを示しています。

💰 AI口頭試問のコストは生徒一人あたり42セントにとどまり、伝統的な口頭試問に比べて経済的負担を大幅に軽減しています。

🤖 生徒はAI口頭試問がストレスを感じると考えていますが、多くはこの方式が実際に理解力テストとして効果的であると考えています。