GPT-4の図形推論能力に関する研究

最新の研究によると、GPT-4は図形推論タスクにおいてわずか33％の精度しかなく、その図形処理能力に疑問が投げかけられています。

研究者らはConceptARCデータセットを用いてテストを実施した結果、人間による同タスクの平均精度は91％と、GPT-4を大きく上回ることが明らかになりました。

しかし、この研究方法自体にも疑問の声が上がっており、被験者の募集方法や入力方法などが問題視されています。これは、大規模言語モデルが特定のタスクにおいて限界を持つことを示唆しており、研究方法の更なる精査が求められています。