バイオテクノロジーの急速な発展に伴い、複雑な生物データを効率的かつ正確に分析する方法は研究者にとって大きな課題となっています。AIモデルがこの分野でより強力な分析能力を発揮できるようにするため、OpenAIは最近、新しいGeneBench-Proベンチマークテストをリリースしました。このベンチマークは、遺伝子組換え、タンパク質組換えなどの生物学的なタスクにおいてAIの実際の研究能力を評価することに特化しています。特に、混乱や不完全なデータに直面したときの判断と意思決定能力を重視しています。

GeneBench-Proは従来のベンチマークテストとは大きく異なります。従来のテストはモデルの記憶力とタスクを完了する固定されたフローに焦点を当てていますが、GeneBench-Proはリアルな研究環境での実用性に重点を置いています。テストのタスクは「曖昧で不完全で、干渉がある」データ環境を考慮して設計されており、モデルがこのような条件下でデータ探索と分析を行うことで、より現実的にその判断能力を反映させています。

image.png

今回のベンチマークテストは広範な生物学分野をカバーしており、ゲノム学、定量生物学、変換医療など、合計129問の問題があります。統計遺伝学、集団遺伝学、機能ゲノム学、タンパク質組換え学など、多くのサブフィールドをカバーしています。各問題では、モデルに現実的な研究環境に近いデータセットが提供され、簡潔な実験背景と関連する質問に基づいて、モデルが独自に分析方法を選択し、戦略を修正して結論を導き出すことを求められます。

従来の長時間のテストでよく見られるスコアの偏りを避けるために、OpenAIはGeneBench-Proの設計時に合成データを使用しました。この方法により、OpenAIはデータ生成プロセスをより良く制御でき、モデルの性能が実際に理解力を反映したものであることを保証することができます。これは、単に推測や簡単な方法で正解を得たものではなく、本当の理解に基づいた結果です。

現在、OpenAIはHugging Faceプラットフォーム上で10の代表的なGeneBench-Proの例題をオープンソースとして公開しており、外部の研究者はインタラクティブなインターフェースを通じて体験できます。今後、OpenAIはその中から50の問題をArtificial Analysisに独立評価のために提供する予定であり、さまざまなモデルがこのベンチマークテストにおける実際のパフォーマンスを検証します。