6月23日、国内初の大学受験志望校選定を対象にしたAI能力評価レポート「大学受験志望校AI評価基準」が発表された。このレポートはユーソンラボが独自に作成し、千問大学受験エージェントを評価対象としている。その結果、千問は複数の項目で人間の志望校相談士と同等のレベルに達しており、安定性、正確性、構造化された表現および効率性において優位性を示した。

image.png

ユーソンラボは人工知能と教育意思決定に関する研究に特化した独立研究チームであり、長期的に大規模モデルの能力評価、教育現場でのAI応用、および学生の進学選択における情報・認知・意思決定の問題に関心を持っている。研究成果は多くの大学や研究機関によって採用されている。今回の評価基準の公開は、急激に増加している大学受験AI製品に対して、公開性、再現可能性、拡張性のある評価フレームワークを構築することを目的としている。また、現在の段階でAIが担えるタスクの境界を明確にする。

千問大学エージェントはクアック社の8年間の大学受験サービスデータと経験に基づいて構築されており、製品形態、データ蓄積、ユーザー層において業界の代表性があるため、報告書では最初の評価対象として選ばれた。人間の比較グループは53人の大学受験相談士からなり、平均勤務年数は4.6年である。

評価は大学受験に関する基本的な事実とルール、シミュレーションによる志望校の選定、オープンな相談、および志望校推薦レポートの4つのプロセスをカバーしており、受験生と保護者が資料を検索し、ルールを確認し、計画を立て、最終的に判断する主な流れに対応している。

結果によると、44問の客観問題において千問はすべて正解し、正確率は100%に達した。一方、人間の相談士の平均正答率は89.3%である。シミュレーションによる志望校選定では、千問の提案には6つの合格可能な志望校が含まれており、明確なバイアスはない。また、事後の評価で最適な結果に到達した。一方、人間の相談士の平均は5.3個の合格可能な志望校であった。オープンな相談において、審査専門家は100件の匿名比較で58回、千問バージョンをより好むと判断した。「直接生徒と保護者に提示できる」という表示率は56.0%であり、人間の相談士の回答よりも高い33.0%だった。専門的な進路の分解、リスクの警告、表現の明確さの点で、千問の方がより安定していると評価された。

報告書は、設定されたタスク範囲において、千問の複数のパフォーマンスがベテランの人間の相談士と同等であり、特に安定性、正確性、構造化された表現およびレスポンス効率において優位性を示していると述べている。

しかし、報告書は同時に、人間の相談士の価値も代替不可能であることを指摘している。特に収入予測、就職判断などの個人事情を考慮して慎重に調整が必要なトピックでは、相談士の方が現実的なアドバイスを提供できる。親子間の協議、価値の選択などにおいては、構造が整ったAIの提案でも、人間同士のコミュニケーションと判断は代替できない。

報告書は、AIは情報の確認、資料の整理、案の初期スクリーニングを効率的に行うのが得意であり、人間の相談士は家庭内でのコミュニケーション、価値の選択、個別的な判断に重点を置くべきだと提言している。両者が補完し合うことで、志望校の選定は正確性を高め、受験生と家族の実際のニーズにも合致するようになる。