2024年2月27日——國內(nèi)人工智能領(lǐng)域領(lǐng)軍企業(yè)DeepSeek持續(xù)推進(jìn)其“開源周”計(jì)劃，今日正式公開第四批核心技術(shù)成果，聚焦優(yōu)化并行策略，發(fā)布三項(xiàng)關(guān)鍵項(xiàng)目：雙向管道并行算法DualPipe、專家并行負(fù)載均衡器EPLB，以及V3/R1架構(gòu)下的計(jì)算-通信重疊分析工具。此次開源旨在解決超大規(guī)模模型訓(xùn)練中的效率瓶頸，為開發(fā)者提供可落地的技術(shù)方案。
DualPipe：雙向流水線并行算法突破效率極限
作為DeepSeek-V3技術(shù)報(bào)告中提出的創(chuàng)新成果，DualPipe專為千億參數(shù)級(jí)模型的分布式訓(xùn)練設(shè)計(jì)，通過雙向數(shù)據(jù)流管道實(shí)現(xiàn)正向與反向計(jì)算-通信階段的完全重疊。與傳統(tǒng)單向流水線相比，該算法在反向傳播過程中同步執(zhí)行前向計(jì)算，顯著減少了流水線中的“氣泡”（即空閑等待時(shí)間），從而提升硬件利用率。
據(jù)技術(shù)文檔顯示，DualPipe通過智能調(diào)度機(jī)制動(dòng)態(tài)協(xié)調(diào)計(jì)算與通信任務(wù)，尤其適配V3/R1架構(gòu)的超大規(guī)模集群。這一設(shè)計(jì)不僅降低了訓(xùn)練迭代耗時(shí)，還為萬億參數(shù)模型的擴(kuò)展提供了技術(shù)基礎(chǔ)。
項(xiàng)目地址：https://github.com/deepseek-ai/DualPipe
EPLB：動(dòng)態(tài)負(fù)載均衡器破解MoE訓(xùn)練難題
在混合專家模型（MoE）訓(xùn)練中，專家任務(wù)分配不均常導(dǎo)致部分GPU過載（即“熱點(diǎn)專家”問題），而其他GPU資源閑置。DeepSeek開源的**專家并行負(fù)載均衡器（EPLB）**通過兩項(xiàng)核心策略解決這一挑戰(zhàn)：
- 冗余專家復(fù)制：針對(duì)高負(fù)載專家，EPLB動(dòng)態(tài)創(chuàng)建副本，并通過啟發(fā)式算法將其分配到不同GPU，確保計(jì)算資源均衡利用。
- 分組路由優(yōu)化：結(jié)合DeepSeek-V3論文中的分組受限路由策略，EPLB優(yōu)先將同一專家組的副本部署在同一計(jì)算節(jié)點(diǎn)內(nèi)，最大限度減少跨節(jié)點(diǎn)通信流量。
開發(fā)者可通過開源代碼庫（eplb.py）直接調(diào)用負(fù)載均衡算法，快速部署適配自身硬件的專家分配方案。需注意的是，專家負(fù)載預(yù)測(cè)方法（如歷史數(shù)據(jù)移動(dòng)平均法）需結(jié)合具體場景實(shí)現(xiàn)。
項(xiàng)目地址：https://github.com/deepseek-ai/EPLB
計(jì)算-通信重疊分析：透明化訓(xùn)練優(yōu)化過程
為幫助開發(fā)者深入理解V3/R1架構(gòu)的并行策略，DeepSeek首次公開其訓(xùn)練與推理框架中的通信-計(jì)算重疊分析數(shù)據(jù)集。該數(shù)據(jù)集詳細(xì)記錄了3D并行（數(shù)據(jù)/流水線/張量并行）任務(wù)中的時(shí)空效率數(shù)據(jù)，涵蓋通信延遲、計(jì)算任務(wù)調(diào)度等關(guān)鍵指標(biāo)。
通過分析這些數(shù)據(jù)，開發(fā)者可精準(zhǔn)定位計(jì)算與通信沖突的節(jié)點(diǎn)，針對(duì)性優(yōu)化流水線調(diào)度策略。此舉不僅降低了超大規(guī)模模型訓(xùn)練的調(diào)優(yōu)門檻，也為社區(qū)研究提供了可復(fù)現(xiàn)的基準(zhǔn)參考。
項(xiàng)目地址：https://github.com/deepseek-ai/profile-data
技術(shù)開源推動(dòng)行業(yè)協(xié)同創(chuàng)新
DeepSeek此次開源的三大工具直擊大模型訓(xùn)練的兩大核心痛點(diǎn)——硬件利用率不足與動(dòng)態(tài)負(fù)載失衡。行業(yè)分析指出，DualPipe與EPLB的組合應(yīng)用，可顯著降低千億級(jí)模型的訓(xùn)練成本，而透明化的分析數(shù)據(jù)則為開發(fā)者自主優(yōu)化提供了“路線圖”。
值得關(guān)注的是，這些技術(shù)已在DeepSeek內(nèi)部多個(gè)千億參數(shù)模型訓(xùn)練中驗(yàn)證，其開源代碼庫支持靈活適配不同硬件環(huán)境。隨著AI競賽進(jìn)入“效率為王”階段，DeepSeek通過連續(xù)四日的關(guān)鍵技術(shù)開源，不僅展現(xiàn)了中國企業(yè)的研發(fā)實(shí)力，更以開放生態(tài)推動(dòng)行業(yè)協(xié)同發(fā)展。
關(guān)于DeepSeek開源周
DeepSeek“開源周”計(jì)劃自啟動(dòng)以來，已連續(xù)發(fā)布多批次大模型訓(xùn)練基礎(chǔ)設(shè)施關(guān)鍵技術(shù)，涵蓋分布式訓(xùn)練、高效推理、動(dòng)態(tài)路由等領(lǐng)域。第五日收官成果將于明日揭曉，持續(xù)為全球AI開發(fā)者社區(qū)注入創(chuàng)新動(dòng)力。
