在生物科技的快速發展中，如何高效且準確地分析複雜的生物數據成爲了研究人員面臨的一大挑戰。爲了幫助 AI 模型在這一領域展現更強的分析能力，OpenAI 近日推出了全新的 GeneBench-Pro 基準測試。這一基準專注於評估 AI 在基因組學、蛋白質組學等生物學任務中的實際研究能力，尤其是在面對混亂和不完整數據時的判斷與決策能力。

GeneBench-Pro 與傳統的基準測試有着顯著的不同。傳統測試往往側重於模型的記憶能力和完成任務的固定流程，而 GeneBench-Pro 則更強調模型在真實科研環境中的實用性。測試任務設計時考慮了 “模糊、不完整和帶有干擾” 的數據環境，讓模型在這樣的條件下進行數據探索和分析，從而更真實地反映其判斷能力。

image.png

此次基準測試覆蓋了廣泛的生物學領域，包括基因組學、定量生物學和轉化醫學，共計129道題目，涵蓋了統計遺傳學、羣體遺傳學、功能基因組學和蛋白質組學等多個子領域。每道題目都會爲模型提供接近真實科研環境的數據集，並要求模型根據簡短的實驗背景和相關問題自主選擇分析方法並修正策略，最終得出結論。

爲了避免傳統長流程測試中常見的評分偏差，OpenAI 在設計 GeneBench-Pro 時採用了合成數據。這種方式允許 OpenAI 更好地控制數據生成過程，從而確保模型的表現更能反映其真實的理解能力，而不僅僅是通過猜測或走捷徑而獲得的正確答案。

目前，OpenAI 已在 Hugging Face 平臺上開源了10道代表性的 GeneBench-Pro 示例題，外部研究人員可以通過可交互界面進行體驗。後續，OpenAI 計劃將其中50道題目交給 Artificial Analysis 進行獨立評測，以驗證不同模型在這一基準測試中的實際表現。