飛槳框架3.0版本近日發佈核心升級，引入動靜統一自動並行技術，旨在簡化大模型分佈式訓練的開發流程，提高開發效率。

新版本支持四維甚至五維混合並行技術，通過數據並行、張量模型並行、流水線並行、分組參數切片並行等多種並行方式，有效提升大模型的分佈式訓練效率。針對多維混合並行開發過程的複雜性，飛槳提出了自動並行技術方案，通過張量切分的語法標記，框架能夠自動推導分佈式切分狀態和添加通信算子，顯著降低分佈式訓練的開發難度。

微信截圖_20240822083729.png

飛槳框架3.0的自動並行原理包括分佈式張量表示、切分推導、切分轉換等關鍵環節，支持重切分能力，允許跨ProcessMesh的分佈式張量轉換。同時，框架提供動靜統一執行模式，支持從動態圖到靜態圖的轉換，兼顧開發便捷性和運行效率。

在性能優化方面，飛槳框架3.0支持多種策略，如算子融合、流水線編排調度、通信-計算Overlap、通信融合等，通過配置選項即可開啓，進一步提升分佈式訓練性能。

飛槳官網：https://www.paddlepaddle.org.cn/