在生物序列建模領域,深度學習技術的進步令人矚目,但高昂的計算需求和對大數據集的依賴讓許多研究者感到困擾。最近,麻省理工學院(MIT)、哈佛大學和卡內基梅隆大學的研究團隊推出了一種名爲 Lyra 的新型生物序列建模方法。這種方法不僅參數顯著減少到僅有傳統模型的12萬分之一,而且能夠在短短兩小時內使用兩塊 GPU 進行訓練,極大地提升了模型的效率。

Lyra 的設計靈感來源於生物學中的上位效應(即序列內突變間的相互作用),它通過一個次二次架構來有效理解生物序列與其功能之間的關係。這種新模型在100多個生物任務中展現出色的性能,包括蛋白質適應度預測、RNA 功能分析及 CRISPR 設計等領域,甚至在某些關鍵應用中達到了當前技術的最佳性能(SOTA)。


與傳統的卷積神經網絡(CNN)和 Transformer 模型相比,Lyra 的推理速度提升了64.18倍,同時大幅降低了參數需求。這得益於其創新的混合模型結構,Lyra 結合了狀態空間模型(SSM)和投影門控捲積(PGC)來捕獲生物序列中的局部和全局依賴關係。SSM 通過快速傅里葉變換(FFT)高效建模全局關係,而 PGC 則專注於提取局部特徵,二者的結合讓 Lyra 在計算效率和可解釋性之間達成了良好平衡。
Lyra 的高效性不僅能夠推動基礎生物研究的進展,也可能在治療開發、病原體監測以及生物製造等實際應用中發揮重要作用。研究團隊希望,通過 Lyra,更多的研究者能夠在資源有限的情況下進行復雜的生物序列建模,從而加速生物科學的探索。
