聯(lián)想攜手燧弘華創(chuàng)搭建萬全異構(gòu)智算平臺(tái),突破算力瓶頸推動(dòng)大模型應(yīng)用升級(jí)

?? 由 文心大模型 生成的文章摘要

異構(gòu)智算產(chǎn)業(yè)生態(tài)聯(lián)盟攜手眾多生態(tài)合作伙伴齊聚燧弘華創(chuàng)慶陽綠色智算中心,共同見證了DeepSeek大模型落地取得的重大突破。在此次活動(dòng)中,聯(lián)想與燧弘華創(chuàng)的合作成果尤為引人注目,雙方攜手搭建的萬全異構(gòu)智算平臺(tái),成功突破算力瓶頸,在3000并發(fā)的高負(fù)載情況下,DeepSeek大模型的總吞吐量超過8000 tokens/s,為提升用戶體驗(yàn)注入了強(qiáng)大動(dòng)力。?

燧弘華創(chuàng)慶陽綠色智算中心作為區(qū)域算力發(fā)展的關(guān)鍵力量,自成立以來便致力于為各類AI 應(yīng)用提供堅(jiān)實(shí)的算力支撐。而聯(lián)想作為全球領(lǐng)先的科技企業(yè),在AI基礎(chǔ)設(shè)施領(lǐng)域有著深厚的技術(shù)積累與豐富的實(shí)踐經(jīng)驗(yàn)。此次雙方強(qiáng)強(qiáng)聯(lián)合,旨在通過技術(shù)創(chuàng)新解決當(dāng)前大模型應(yīng)用中面臨的算力難題。?

為了實(shí)現(xiàn)這一目標(biāo),聯(lián)想與燧弘華創(chuàng)的技術(shù)團(tuán)隊(duì)進(jìn)行了深入?yún)f(xié)作,采取了一系列創(chuàng)新舉措。在硬件層面,聯(lián)想問天WA5480 G3服務(wù)器搭載了第四代英特爾?至強(qiáng)?可擴(kuò)展處理器,為平臺(tái)提供了強(qiáng)勁的計(jì)算核心。

同時(shí),通過訪存優(yōu)化技術(shù),大幅提升了數(shù)據(jù)訪問速度,減少了數(shù)據(jù)讀取延遲,讓處理器能夠更快地獲取所需數(shù)據(jù)進(jìn)行運(yùn)算。顯存優(yōu)化方面,對(duì)GPU顯存的管理與調(diào)度進(jìn)行了精細(xì)優(yōu)化,確保在大規(guī)模并發(fā)運(yùn)算時(shí),顯存能夠高效利用,避免了因顯存不足或使用不合理導(dǎo)致的性能下降。PCIe 5.0全互聯(lián)架構(gòu)創(chuàng)新則進(jìn)一步提升了數(shù)據(jù)傳輸帶寬,使得服務(wù)器內(nèi)部各組件之間的數(shù)據(jù)交互更加順暢,為大模型的高效運(yùn)行提供了有力保障。?

在軟件框架層面,技術(shù)團(tuán)隊(duì)精選SGLang框架中性能最優(yōu)算子,對(duì)大模型的算法執(zhí)行過程進(jìn)行了深度優(yōu)化。這些性能最優(yōu)算子能夠以更高的效率執(zhí)行模型的計(jì)算任務(wù),從而在整體上提升大模型的運(yùn)行性能。通過這一系列從硬件到軟件的全方位優(yōu)化,單機(jī)服務(wù)器運(yùn)行大模型的性能實(shí)現(xiàn)了質(zhì)的飛躍,在3000并發(fā)這一嚴(yán)苛條件下,總吞吐量成功突破8000 tokens/s,持續(xù)為 DeepSeek 滿血版用戶帶來更加流暢、高效的使用體驗(yàn)。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」