騰訊AI實(shí)驗(yàn)室正式發(fā)布了混元T1和Turbo S模型，這兩款模型憑借其創(chuàng)新的混合Mamba架構(gòu)，在人工智能領(lǐng)域引起了廣泛關(guān)注。這一突破有望解決傳統(tǒng)Transformer模型長(zhǎng)期面臨的算力瓶頸問(wèn)題，為大語(yǔ)言模型的發(fā)展開(kāi)辟新的道路。?

自Transformer模型問(wèn)世以來(lái)，其在自然語(yǔ)言處理領(lǐng)域取得了顯著成就，成為眾多主流AI模型和產(chǎn)品的基礎(chǔ)架構(gòu)。然而，Transformer模型中的自注意力機(jī)制雖然賦予了模型強(qiáng)大的處理能力，但也帶來(lái)了計(jì)算復(fù)雜度高、內(nèi)存占用大的問(wèn)題。隨著序列長(zhǎng)度的增加，所需的算力呈平方級(jí)增長(zhǎng)，這不僅導(dǎo)致了訓(xùn)練和推理成本的飆升，也成為了模型性能提升的瓶頸。?

為了克服這些挑戰(zhàn)，騰訊AI實(shí)驗(yàn)室的研究團(tuán)隊(duì)引入了混合Mamba架構(gòu)。這一架構(gòu)融合了循環(huán)結(jié)構(gòu)和Transformer架構(gòu)的優(yōu)勢(shì)，通過(guò)創(chuàng)新的計(jì)算方式，有效降低了計(jì)算復(fù)雜度，減少了內(nèi)存占用。在處理長(zhǎng)序列時(shí)，混合Mamba架構(gòu)能夠?qū)崿F(xiàn)線性擴(kuò)展，顯著提升了模型的處理效率。?

混元T1和Turbo S模型在多個(gè)關(guān)鍵指標(biāo)上展現(xiàn)出了卓越的性能。在長(zhǎng)序列處理方面，這兩款模型能夠輕松應(yīng)對(duì)超長(zhǎng)文本，有效解決了傳統(tǒng)模型中常見(jiàn)的上下文丟失和長(zhǎng)距離信息依賴問(wèn)題。例如，在處理長(zhǎng)達(dá)數(shù)千字的文檔時(shí)，混元T1和Turbo S能夠準(zhǔn)確捕捉文本中的關(guān)鍵信息，并進(jìn)行高效的推理和分析。?

推理速度方面，混元T1和Turbo S模型也實(shí)現(xiàn)了重大突破?；诨旌螹amba架構(gòu)的優(yōu)化，模型的解碼速度得到了大幅提升，相比傳統(tǒng) Transformer 模型提升了數(shù)倍。這意味著用戶在使用這些模型時(shí)，能夠獲得更快速的響應(yīng)，極大地提升了用戶體驗(yàn)。?

能效比方面，混合Mamba架構(gòu)的優(yōu)勢(shì)同樣明顯。通過(guò)降低計(jì)算復(fù)雜度和內(nèi)存占用，混元T1 和Turbo S模型在訓(xùn)練和推理過(guò)程中消耗的資源顯著減少。這不僅降低了運(yùn)營(yíng)成本，也使得模型在資源受限的環(huán)境中能夠更好地運(yùn)行。?

3月21日，騰訊宣布推出自研深度思考模型“混元T1”正式版，并同步在騰訊云官網(wǎng)上線。該模型以騰訊于3月初發(fā)布的“混元Turbo S”為基座打造，是一款能秒回、吐字快、擅長(zhǎng)超長(zhǎng)文處理的強(qiáng)推理模型。?

通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)并結(jié)合專項(xiàng)優(yōu)化，混元T1正式版進(jìn)一步提升了推理能力。與此前已上線騰訊元寶的 “混元 T1-preview”模型相比，綜合效果明顯提升。在體現(xiàn)推理模型基礎(chǔ)能力的常見(jiàn) Benchmark上，以及在中英文知識(shí)競(jìng)賽級(jí)數(shù)學(xué)、邏輯推理的公開(kāi)基準(zhǔn)測(cè)試中，混元T1的成績(jī)達(dá)到業(yè)界領(lǐng)先推理模型的水平。此外，T1還在多項(xiàng)對(duì)齊任務(wù)、指令跟隨任務(wù)和工具利用任務(wù)中展現(xiàn)出了非常強(qiáng)的適應(yīng)性。?

混元T1正式版沿用了混元Turbo S的創(chuàng)新架構(gòu)，采用Hybrid-Mamba-Transformer融合模式。這是工業(yè)界首次將混合Mamba架構(gòu)無(wú)損應(yīng)用于超大型推理模型。這一架構(gòu)有效降低了傳統(tǒng) Transformer結(jié)構(gòu)的計(jì)算復(fù)雜度，減少了KV-Cache（一種大模型推理性能優(yōu)化技術(shù)）的內(nèi)存占用，從而顯著降低了訓(xùn)練和推理成本，讓混元T1實(shí)現(xiàn)首字秒出，吐字速度最快可達(dá)80 tokens/s（Token意為處理文本的最小單元）。

混元T1在超長(zhǎng)文本推理領(lǐng)域也展現(xiàn)出獨(dú)特優(yōu)勢(shì)，能夠有效解決長(zhǎng)文推理中常見(jiàn)的上下文丟失和長(zhǎng)距離信息依賴問(wèn)題。同時(shí)，混合Mamba架構(gòu)針對(duì)長(zhǎng)序列處理進(jìn)行了專項(xiàng)優(yōu)化，提升了解碼速度。?

目前，混元T1已在騰訊云官網(wǎng)上線，輸入價(jià)格為1元/每百萬(wàn)tokens，輸出價(jià)格為4元/百萬(wàn)tokens。