騰訊AI實驗室正式發(fā)布了混元T1和Turbo S模型，這兩款模型憑借其創(chuàng)新的混合Mamba架構(gòu)，在人工智能領(lǐng)域引起了廣泛關(guān)注。這一突破有望解決傳統(tǒng)Transformer模型長期面臨的算力瓶頸問題，為大語言模型的發(fā)展開辟新的道路。?

自Transformer模型問世以來，其在自然語言處理領(lǐng)域取得了顯著成就，成為眾多主流AI模型和產(chǎn)品的基礎(chǔ)架構(gòu)。然而，Transformer模型中的自注意力機制雖然賦予了模型強大的處理能力，但也帶來了計算復(fù)雜度高、內(nèi)存占用大的問題。隨著序列長度的增加，所需的算力呈平方級增長，這不僅導(dǎo)致了訓(xùn)練和推理成本的飆升，也成為了模型性能提升的瓶頸。?

為了克服這些挑戰(zhàn)，騰訊AI實驗室的研究團隊引入了混合Mamba架構(gòu)。這一架構(gòu)融合了循環(huán)結(jié)構(gòu)和Transformer架構(gòu)的優(yōu)勢，通過創(chuàng)新的計算方式，有效降低了計算復(fù)雜度，減少了內(nèi)存占用。在處理長序列時，混合Mamba架構(gòu)能夠?qū)崿F(xiàn)線性擴展，顯著提升了模型的處理效率。?

混元T1和Turbo S模型在多個關(guān)鍵指標上展現(xiàn)出了卓越的性能。在長序列處理方面，這兩款模型能夠輕松應(yīng)對超長文本，有效解決了傳統(tǒng)模型中常見的上下文丟失和長距離信息依賴問題。例如，在處理長達數(shù)千字的文檔時，混元T1和Turbo S能夠準確捕捉文本中的關(guān)鍵信息，并進行高效的推理和分析。?

推理速度方面，混元T1和Turbo S模型也實現(xiàn)了重大突破?；诨旌螹amba架構(gòu)的優(yōu)化，模型的解碼速度得到了大幅提升，相比傳統(tǒng) Transformer 模型提升了數(shù)倍。這意味著用戶在使用這些模型時，能夠獲得更快速的響應(yīng)，極大地提升了用戶體驗。?

能效比方面，混合Mamba架構(gòu)的優(yōu)勢同樣明顯。通過降低計算復(fù)雜度和內(nèi)存占用，混元T1 和Turbo S模型在訓(xùn)練和推理過程中消耗的資源顯著減少。這不僅降低了運營成本，也使得模型在資源受限的環(huán)境中能夠更好地運行。?

3月21日，騰訊宣布推出自研深度思考模型“混元T1”正式版，并同步在騰訊云官網(wǎng)上線。該模型以騰訊于3月初發(fā)布的“混元Turbo S”為基座打造，是一款能秒回、吐字快、擅長超長文處理的強推理模型。?

通過大規(guī)模強化學習并結(jié)合專項優(yōu)化，混元T1正式版進一步提升了推理能力。與此前已上線騰訊元寶的 “混元 T1-preview”模型相比，綜合效果明顯提升。在體現(xiàn)推理模型基礎(chǔ)能力的常見 Benchmark上，以及在中英文知識競賽級數(shù)學、邏輯推理的公開基準測試中，混元T1的成績達到業(yè)界領(lǐng)先推理模型的水平。此外，T1還在多項對齊任務(wù)、指令跟隨任務(wù)和工具利用任務(wù)中展現(xiàn)出了非常強的適應(yīng)性。?

混元T1正式版沿用了混元Turbo S的創(chuàng)新架構(gòu)，采用Hybrid-Mamba-Transformer融合模式。這是工業(yè)界首次將混合Mamba架構(gòu)無損應(yīng)用于超大型推理模型。這一架構(gòu)有效降低了傳統(tǒng) Transformer結(jié)構(gòu)的計算復(fù)雜度，減少了KV-Cache（一種大模型推理性能優(yōu)化技術(shù)）的內(nèi)存占用，從而顯著降低了訓(xùn)練和推理成本，讓混元T1實現(xiàn)首字秒出，吐字速度最快可達80 tokens/s（Token意為處理文本的最小單元）。

混元T1在超長文本推理領(lǐng)域也展現(xiàn)出獨特優(yōu)勢，能夠有效解決長文推理中常見的上下文丟失和長距離信息依賴問題。同時，混合Mamba架構(gòu)針對長序列處理進行了專項優(yōu)化，提升了解碼速度。?

目前，混元T1已在騰訊云官網(wǎng)上線，輸入價格為1元/每百萬tokens，輸出價格為4元/百萬tokens。