在人工智能技術(shù)迅猛發(fā)展，國產(chǎn)硬件與軟件協(xié)同創(chuàng)新的關(guān)鍵時(shí)期，摩爾線程官方于近日正式宣布開源MT-MegatronLM與MT-TransformerEngine兩大AI框架，這一舉措在AI技術(shù)圈與國產(chǎn)硬件生態(tài)領(lǐng)域引發(fā)了廣泛關(guān)注。?

MT-MegatronLM與MT-TransformerEngine兩大框架具有卓越的技術(shù)特性。它們通過深度融合 FP8混合訓(xùn)練策略，極大地優(yōu)化了計(jì)算資源的利用效率。FP8格式在保持一定精度的同時(shí)，能夠顯著降低計(jì)算過程中的數(shù)據(jù)存儲(chǔ)與傳輸開銷，使得在模型訓(xùn)練與推理過程中，數(shù)據(jù)處理速度大幅提升。同時(shí)，框架配備的高性能算子庫，針對(duì)國產(chǎn)全功能GPU進(jìn)行了深度優(yōu)化，能夠充分挖掘GPU硬件的并行計(jì)算潛力。在面對(duì)復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型時(shí)，這些高性能算子能夠精準(zhǔn)且高效地執(zhí)行各類計(jì)算任務(wù)，確保模型運(yùn)算的流暢性與準(zhǔn)確性。

借助這些技術(shù)優(yōu)勢(shì)，兩大框架在國產(chǎn)全功能GPU上成功實(shí)現(xiàn)了混合并行訓(xùn)練和推理?；旌喜⑿杏?xùn)練模式結(jié)合了數(shù)據(jù)并行、模型并行和流水并行等多種并行策略，讓不同的計(jì)算任務(wù)在 GPU 集群中得以合理分配，有效避免了計(jì)算資源的閑置與浪費(fèi)，從而大幅提升了訓(xùn)練效率。以大規(guī)模語言模型訓(xùn)練為例，采用 MT-MegatronLM與MT-TransformerEngine框架，可將訓(xùn)練時(shí)間縮短數(shù)倍，讓企業(yè)和科研機(jī)構(gòu)能夠更快速地完成模型迭代與優(yōu)化。而在推理環(huán)節(jié)，其穩(wěn)定性也得到了顯著增強(qiáng)，無論是處理高并發(fā)的在線推理請(qǐng)求，還是執(zhí)行復(fù)雜的離線推理任務(wù)，都能確保結(jié)果的準(zhǔn)確性與一致性，為AI應(yīng)用的實(shí)際落地提供了堅(jiān)實(shí)保障。?

此次摩爾線程選擇開源這兩大AI框架，意義非凡。開源意味著更廣泛的技術(shù)交流與創(chuàng)新協(xié)作。一方面，對(duì)于廣大開發(fā)者而言，能夠免費(fèi)獲取并深入研究這些先進(jìn)的框架代碼，有助于降低AI開發(fā)的技術(shù)門檻，激發(fā)更多基于國產(chǎn)GPU的創(chuàng)新應(yīng)用開發(fā)。開發(fā)者可以根據(jù)自身需求，對(duì)框架進(jìn)行定制化改進(jìn)，將其應(yīng)用于自然語言處理、圖像識(shí)別、智能推薦等眾多領(lǐng)域。另一方面，從行業(yè)發(fā)展角度來看，開源能夠促進(jìn)國產(chǎn)AI生態(tài)的繁榮。眾多開發(fā)者與企業(yè)的參與，將加速國產(chǎn)GPU與AI軟件的適配與優(yōu)化進(jìn)程，形成一個(gè)良性循環(huán)，推動(dòng)國產(chǎn)AI技術(shù)整體邁向新的高度，逐步打破國外技術(shù)在某些領(lǐng)域的壟斷局面。?

摩爾線程開源MT-MegatronLM與MT-TransformerEngine兩大AI框架，不僅展示了其在技術(shù)研發(fā)上的深厚實(shí)力，更為國產(chǎn)AI產(chǎn)業(yè)的發(fā)展注入了新的活力，有望在未來引領(lǐng)更多企業(yè)與開發(fā)者投身于國產(chǎn)AI技術(shù)的創(chuàng)新實(shí)踐，為推動(dòng)我國AI產(chǎn)業(yè)的自主可控與蓬勃發(fā)展貢獻(xiàn)強(qiáng)大力量。?