近日，阿里云機器學習平臺PAI主導的論文《Whale: Efficient Giant Model Training over Heterogeneous GPUs》，高效大模型訓練框架Whale入選USENIX ATC'22。Whale通過對不同并行化策略進行統(tǒng)一抽象、封裝，在一套分布式訓練框架中支持多種并行策略，并進行顯存、計算、通信等全方位的優(yōu)化，來提供易用、高效的分布式訓練框架。
USENIX Annul Technical Conference (USENIX ATC)，是計算機系統(tǒng)領(lǐng)域國際頂級學術(shù)會議 (CCF-A)，自1992年舉辦第一屆USENIX ATC會議以來，至今已成功舉辦30多屆，在學術(shù)和工業(yè)界都有巨大的影響力。USENIX ATC2022將于2022年7月11日召開。此次入選意味著阿里云機器學習平臺PAI自研的深度學習分布式模型訓練系統(tǒng)達到了全球業(yè)界先進水平，獲得了國際學者的認可，展現(xiàn)了中國機器學習系統(tǒng)技術(shù)創(chuàng)新在國際上的競爭力。
Whale是阿里云機器學習PAI平臺自研的高效、通用、硬件感知的大模型分布式訓練框架，現(xiàn)已開源，開源后的名稱是EPL(Easy Parallel Library)。Whale通過統(tǒng)一的策略抽象來實現(xiàn)各種分布式策略的表達，并通過硬件感知和自動計算圖改寫及優(yōu)化完成高效的分布式模型實現(xiàn)。
隨著模型參數(shù)規(guī)模飛速增長，模型效果也在逐步提高，但同時也為訓練框架帶來更大的挑戰(zhàn)。當前的業(yè)界分布式訓練框架只支持少量的并行策略，缺乏一個統(tǒng)一的抽象來支持所有的并行策略及其混合策略。同時實現(xiàn)復雜的并行策略需要大量的模型代碼改造和對底層系統(tǒng)的理解，大大增加了用戶的使用難度。由于集群中異構(gòu)GPU計算能力和顯存的差異，靜態(tài)的并行化策略無法充分利用異構(gòu)資源實現(xiàn)高效訓練。
針對這些問題，Whale抽象并定義了兩個分布式原語(replicate和split) 。用戶可以通過在模型上添加幾行原語標記，即來表達和轉(zhuǎn)換各種并行化策略及其組合，極大降低了分布式框架的使用門檻。Whale runtime將用戶的標記信息融合到計算圖中，自動完成模型的并行化優(yōu)化。同時Whale提供了基于硬件感知的自動化分布式并行策略，優(yōu)化在異構(gòu)GPU集群上分布式訓練性能。Whale的設(shè)計很好地平衡了模型用戶的干預和系統(tǒng)優(yōu)化機會，讓每一個算法工程師都能輕松高效訓練分布式大模型任務(wù)。借助Whale，阿里達摩院M6模型使用512張V100 GPU在10天內(nèi)即可完成10萬億多模態(tài)預訓練模型。
Whale起源于阿里內(nèi)部業(yè)務(wù)，在阿里內(nèi)部已經(jīng)支持圖像、推薦、語音、視頻、自然語言、多模態(tài)等業(yè)務(wù)場景。并且能無感支持模型規(guī)模橫向擴展，最大完成了10萬億規(guī)模的M6模型訓練。同時Whale已經(jīng)集成在阿里云機器學習平臺PAI中，大家可以在阿里云PAI平臺上使用Whale。機器學習平臺PAI是面向開發(fā)者和企業(yè)的AI工程化平臺，提供了覆蓋數(shù)據(jù)準備、模型開發(fā)、模型訓練、模型部署的全流程服務(wù)。
Whale(EPL)開源地址(https://github.com/alibaba/EasyParallelLibrary)，歡迎大家來試用和給出建議。
論文名稱：Whale: Efficient Giant Model Training over Heterogeneous GPUs
論文作者：賈賢艷，江樂，王昂，肖文聰，石子驥，張杰，李昕元，陳浪石，李永，鄭禎，劉小勇，林偉
開源鏈接：https://github.com/alibaba/easyparallellibrary
論文鏈接：https://www.usenix.org/conference/atc22/presentation/jia-xianyan
星空人工智能技術(shù)網(wǎng) 倡導尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 新聞 » 阿里云機器學習平臺PAI論文高效大模型訓練框架Whale入選USENIX ATC'22