久久亚洲国产精品影院,羞羞影院成人午夜爽爽在线 http://pinmang.cn 93913成立于2015年9月13日,是目前國內(nèi)最早且最具知名度和影響力的元宇宙&AI產(chǎn)業(yè)服務商,通過93913為用戶提供信息服務以及元宇宙&AI領域相關廠商提供整體品牌傳播、發(fā)布會、開發(fā)者大賽、連接商業(yè)項目以及FA投融資顧問等服務。 Fri, 28 Mar 2025 16:42:58 +0000 zh-CN hourly 1 https://wordpress.org/?v=6.6.2 聯(lián)想攜手燧弘華創(chuàng)搭建萬全異構智算平臺,突破算力瓶頸推動大模型應用升級 http://pinmang.cn/109560.html http://pinmang.cn/109560.html#respond Fri, 28 Mar 2025 16:42:58 +0000 http://pinmang.cn/?p=109560

異構智算產(chǎn)業(yè)生態(tài)聯(lián)盟攜手眾多生態(tài)合作伙伴齊聚燧弘華創(chuàng)慶陽綠色智算中心,共同見證了DeepSeek大模型落地取得的重大突破。在此次活動中,聯(lián)想與燧弘華創(chuàng)的合作成果尤為引人注目,雙方攜手搭建的萬全異構智算平臺,成功突破算力瓶頸,在3000并發(fā)的高負載情況下,DeepSeek大模型的總吞吐量超過8000 tokens/s,為提升用戶體驗注入了強大動力。?

燧弘華創(chuàng)慶陽綠色智算中心作為區(qū)域算力發(fā)展的關鍵力量,自成立以來便致力于為各類AI 應用提供堅實的算力支撐。而聯(lián)想作為全球領先的科技企業(yè),在AI基礎設施領域有著深厚的技術積累與豐富的實踐經(jīng)驗。此次雙方強強聯(lián)合,旨在通過技術創(chuàng)新解決當前大模型應用中面臨的算力難題。?

為了實現(xiàn)這一目標,聯(lián)想與燧弘華創(chuàng)的技術團隊進行了深入?yún)f(xié)作,采取了一系列創(chuàng)新舉措。在硬件層面,聯(lián)想問天WA5480 G3服務器搭載了第四代英特爾?至強?可擴展處理器,為平臺提供了強勁的計算核心。

同時,通過訪存優(yōu)化技術,大幅提升了數(shù)據(jù)訪問速度,減少了數(shù)據(jù)讀取延遲,讓處理器能夠更快地獲取所需數(shù)據(jù)進行運算。顯存優(yōu)化方面,對GPU顯存的管理與調(diào)度進行了精細優(yōu)化,確保在大規(guī)模并發(fā)運算時,顯存能夠高效利用,避免了因顯存不足或使用不合理導致的性能下降。PCIe 5.0全互聯(lián)架構創(chuàng)新則進一步提升了數(shù)據(jù)傳輸帶寬,使得服務器內(nèi)部各組件之間的數(shù)據(jù)交互更加順暢,為大模型的高效運行提供了有力保障。?

在軟件框架層面,技術團隊精選SGLang框架中性能最優(yōu)算子,對大模型的算法執(zhí)行過程進行了深度優(yōu)化。這些性能最優(yōu)算子能夠以更高的效率執(zhí)行模型的計算任務,從而在整體上提升大模型的運行性能。通過這一系列從硬件到軟件的全方位優(yōu)化,單機服務器運行大模型的性能實現(xiàn)了質(zhì)的飛躍,在3000并發(fā)這一嚴苛條件下,總吞吐量成功突破8000 tokens/s,持續(xù)為 DeepSeek 滿血版用戶帶來更加流暢、高效的使用體驗。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」
]]>
http://pinmang.cn/109560.html/feed 0