中國聯(lián)通實現(xiàn)全球最長距離大模型異構(gòu)混訓突破
關(guān)鍵詞: 中國聯(lián)通 大模型異構(gòu)混訓 算力智聯(lián)網(wǎng) 跨域異構(gòu)混訓系統(tǒng) DeepLink
在2025年中國聯(lián)通合作伙伴大會期間,中國聯(lián)通研究院聯(lián)合上海人工智能實驗室等合作伙伴,于7月19日正式發(fā)布了全球最長距離大模型異構(gòu)混訓試驗成果。
隨著人工智能技術(shù)的迅猛發(fā)展和大模型時代的到來,模型訓練對算力基礎(chǔ)設施的高吞吐、低時延、高性能提出了更高要求。然而,當前算力資源呈現(xiàn)出異構(gòu)化和多中心化的格局,面臨著跨域資源互聯(lián)互通機制不健全、長距離傳輸存在帶寬與時延瓶頸、異構(gòu)資源統(tǒng)一調(diào)度與高效融合能力有限等挑戰(zhàn)。
中國聯(lián)通攜手上海人工智能實驗室、阿里云、浪潮、基流科技、加佳科技等行業(yè)合作伙伴,針對超大模型跨域訓練和碎片化算力整合需求,依托“算力智聯(lián)網(wǎng) AINet”長距無損傳輸技術(shù)優(yōu)勢,結(jié)合上海人工智能實驗室“DeepLink”超大規(guī)??缬蚧煊柤夹g(shù)方案,在上海臨港和山東濟南鮑山數(shù)據(jù)中心間構(gòu)建了長度超1500公里的跨域異構(gòu)混訓系統(tǒng)。
通過自動調(diào)整多種并行策略和跨域收斂比下MoE模型和Dense模型的參數(shù)配置,聯(lián)合團隊成功完成了超1500公里跨域的千億參數(shù)AI大模型異構(gòu)混訓試驗。經(jīng)驗證,等效算力可達單芯片單集群等效算力的95%以上。
在算力互聯(lián)層面,項目采用了聯(lián)通自研內(nèi)置長距RDMA協(xié)議棧的RoCE交換機,兼顧數(shù)據(jù)中心內(nèi)和數(shù)據(jù)中心間高性能網(wǎng)絡需求;在算力調(diào)度與資源管理層面,通過聯(lián)通“智馭”平臺實現(xiàn)對跨域網(wǎng)絡和集群的統(tǒng)一管控及任務調(diào)度;在算力協(xié)同層面,基于DeepLink在訓練加速、異構(gòu)通信、并行策略等核心技術(shù),實現(xiàn)了千億參數(shù)大模型在超長距離異構(gòu)GPU環(huán)境下的高效訓練。
此次試驗的成功,不僅驗證了中國聯(lián)通在長距離算力協(xié)同方面的技術(shù)實力,也為未來大規(guī)模AI模型的跨域訓練提供了有力支撐。隨著這一技術(shù)的進一步應用和推廣,有望推動人工智能領(lǐng)域的快速發(fā)展,助力各行各業(yè)實現(xiàn)智能化轉(zhuǎn)型。
