AI評価が現実のタスク実行へと移行、OpenAIがLifeValを発表しパーソナルアシスタント能力を測定

最近、OpenAIはLifeValベンチマークテストを公開しました。これは、介護、健康、教育、家計管理、個人財務、政府サービスなどの日常生活の場面でAIがどのように機能するかを測るためのものです。知識の質問応答や単一能力に焦点を当てた従来の評価とは異なり、LifeValはAIがタスクを実行可能で納品可能な状態まで進められるかどうかに重点を置き、実際の問題を解決する能力を評価します。

このベンチマークは米国時間使用調査（American Time Use Survey）を参考にし、3995人の回答者への調査に基づいて構築されました。過去1年間、OpenAIはLifeValを継続的に活用してモデル能力の改善を追跡してきました。公開されたテストケースによると、AIが子どもの幼稚園を選ぶタスクのスコアは93.1％、洪水対策のボランティアを組織するスコアは98.0％、糖尿病患者のための食事プランを作成するスコアは90.4％でした。

OpenAIは同時に、LifeValは現在主に社内評価ツールとして使用されており、タスクセットとスコアリングコードは外部に完全には公開されていないため、関連するテスト結果は慎重に解釈する必要があると強調しています。

今回のLifeValの導入は、OpenAIがモデル評価の重点を情報理解とコンテンツ生成から、複雑な現実タスクの計画と実行へとさらに広げ、AIを対話ツールから実際の行動能力を備えたパーソナルアシスタントへと進化させていることを反映しています。