異構智算產(chǎn)業(yè)生態(tài)聯(lián)盟攜手眾多生態(tài)合作伙伴齊聚燧弘華創(chuàng)慶陽綠色智算中心,共同見證了DeepSeek大模型落地取得的重大突破。在此次活動中,聯(lián)想與燧弘華創(chuàng)的合作成果尤為引人注目,雙方攜手搭建的萬全異構智算平臺,成功突破算力瓶頸,在3000并發(fā)的高負載情況下,DeepSeek大模型的總吞吐量超過8000 tokens/s,為提升用戶體驗注入了強大動力。?
燧弘華創(chuàng)慶陽綠色智算中心作為區(qū)域算力發(fā)展的關鍵力量,自成立以來便致力于為各類AI 應用提供堅實的算力支撐。而聯(lián)想作為全球領先的科技企業(yè),在AI基礎設施領域有著深厚的技術積累與豐富的實踐經(jīng)驗。此次雙方強強聯(lián)合,旨在通過技術創(chuàng)新解決當前大模型應用中面臨的算力難題。?
為了實現(xiàn)這一目標,聯(lián)想與燧弘華創(chuàng)的技術團隊進行了深入?yún)f(xié)作,采取了一系列創(chuàng)新舉措。在硬件層面,聯(lián)想問天WA5480 G3服務器搭載了第四代英特爾?至強?可擴展處理器,為平臺提供了強勁的計算核心。
同時,通過訪存優(yōu)化技術,大幅提升了數(shù)據(jù)訪問速度,減少了數(shù)據(jù)讀取延遲,讓處理器能夠更快地獲取所需數(shù)據(jù)進行運算。顯存優(yōu)化方面,對GPU顯存的管理與調(diào)度進行了精細優(yōu)化,確保在大規(guī)模并發(fā)運算時,顯存能夠高效利用,避免了因顯存不足或使用不合理導致的性能下降。PCIe 5.0全互聯(lián)架構創(chuàng)新則進一步提升了數(shù)據(jù)傳輸帶寬,使得服務器內(nèi)部各組件之間的數(shù)據(jù)交互更加順暢,為大模型的高效運行提供了有力保障。?
在軟件框架層面,技術團隊精選SGLang框架中性能最優(yōu)算子,對大模型的算法執(zhí)行過程進行了深度優(yōu)化。這些性能最優(yōu)算子能夠以更高的效率執(zhí)行模型的計算任務,從而在整體上提升大模型的運行性能。通過這一系列從硬件到軟件的全方位優(yōu)化,單機服務器運行大模型的性能實現(xiàn)了質(zhì)的飛躍,在3000并發(fā)這一嚴苛條件下,總吞吐量成功突破8000 tokens/s,持續(xù)為 DeepSeek 滿血版用戶帶來更加流暢、高效的使用體驗。