
3月21日,騰訊宣布推出自研深度思考模型“混元T1”正式版,并同步在騰訊云官網(wǎng)上線。該模型以騰訊于3月初發(fā)布的“混元Turbo S”為基座打造,是一款能秒回、吐字快、擅長超長文處理的強推理模型。?
通過大規(guī)模強化學(xué)習(xí)并結(jié)合專項優(yōu)化,混元T1正式版進一步提升了推理能力。與此前已上線騰訊元寶的 “混元 T1-preview”模型相比,綜合效果明顯提升。在體現(xiàn)推理模型基礎(chǔ)能力的常見 Benchmark上,以及在中英文知識競賽級數(shù)學(xué)、邏輯推理的公開基準(zhǔn)測試中,混元T1的成績達到業(yè)界領(lǐng)先推理模型的水平。此外,T1還在多項對齊任務(wù)、指令跟隨任務(wù)和工具利用任務(wù)中展現(xiàn)出了非常強的適應(yīng)性。?
混元T1正式版沿用了混元Turbo S的創(chuàng)新架構(gòu),采用Hybrid-Mamba-Transformer融合模式。這是工業(yè)界首次將混合Mamba架構(gòu)無損應(yīng)用于超大型推理模型。這一架構(gòu)有效降低了傳統(tǒng) Transformer結(jié)構(gòu)的計算復(fù)雜度,減少了KV-Cache(一種大模型推理性能優(yōu)化技術(shù))的內(nèi)存占用,從而顯著降低了訓(xùn)練和推理成本,讓混元T1實現(xiàn)首字秒出,吐字速度最快可達80 tokens/s(Token意為處理文本的最小單元)。
混元T1在超長文本推理領(lǐng)域也展現(xiàn)出獨特優(yōu)勢,能夠有效解決長文推理中常見的上下文丟失和長距離信息依賴問題。同時,混合Mamba架構(gòu)針對長序列處理進行了專項優(yōu)化,提升了解碼速度。?
目前,混元T1已在騰訊云官網(wǎng)上線,輸入價格為1元/每百萬tokens,輸出價格為4元/百萬tokens。








