最近、スタンフォード大学などの研究機関の研究者らが、Nature、ICLRなどのトップ会議論文数千本をGPT-4に入力し、査読意見を生成、それを人間の査読者意見と比較しました。その結果、GPT-4による査読意見と人間の意見の一致率は50％を超え、82％の著者にとって非常に役立つことが分かりました。また、GPT-4は人間査読者と比べて、論文のインパクトファクターを重視し、補足実験やアブレーション実験などの詳細にはあまり注目しない傾向も明らかになりました。GPT-4による査読フィードバックは、査読の正確性を高め、人件費を削減できると、多くのユーザーが評価しています。この研究は、LLMを活用した学術論文査読の可能性を示唆しています。