ScaleOT框架亮相AAAI 2025：提升隱私保護50%，降算力成本90%

近日，在全球人工智能頂級學術會議AAAI2025期間，螞蟻數科、浙江大學、利物浦大學和華東師範大學聯合團隊提出創新的跨域微調（offsite-tuning）框架——ScaleOT。該框架能在模型性能無損前提下，將隱私保護效果提升50%，與知識蒸餾技術相比，算力消耗顯著降低90%，爲百億級參數模型的跨域微調提供高效輕量化方案，論文因創新性入選AAAI的oral論文(本屆大會近13000篇投稿，口頭報告比例僅4.6%)。

跨域微調是目前業內保護模型產權與數據隱私的主流方案，通過有損壓縮將大模型轉換爲仿真器，數據持有方基於其訓練適配器並返回給大模型完成調優，數據和模型均未出域，可保護雙方隱私，但存在侷限性:一是“均勻抽積木”式處理易致模型關鍵層缺失，使性能顯著下降;二是用蒸餾技術彌補性能損失，計算成本高;且現有方法隱私保護缺乏靈活性。

螞蟻數科技術團隊介紹，ScaleOT提出三大創新思路平衡模型性能與隱私安全。一是評估大模型智能層重要性，用強化學習掃描自動識別關鍵層，動態保留“核心層”降低性能損耗;二是對保留的原始層“打碼”，防止攻擊者復原原始模型，在性能幾乎無損時提升隱私保護強度;三是可根據不同場景靈活組裝，實現隱私強度可調節。

解決數據和模型隱私安全問題是大模型在產業界尤其是金融行業落地的重要課題。螞蟻數科的這一創新算法已融入旗下摩斯大模型隱私保護產品，且成爲國內首批通過信通院大模型可信執行環境產品專項測試的產品之一。