社交平臺小紅書，在大模型領(lǐng)域邁出了重要一步，開源了其首個大模型——dots.llm1。這一舉措在業(yè)內(nèi)引起了廣泛關(guān)注，為大模型的發(fā)展注入了新的活力。?

dots.llm1是一個擁有1420億參數(shù)的專家混合模型（MoE）。與其他模型不同的是，它在推理過程中僅激活140億參數(shù)。這種獨(dú)特的設(shè)計使得模型在保持高性能的同時，能夠大幅度降低訓(xùn)練和推理成本，為模型的廣泛應(yīng)用提供了更經(jīng)濟(jì)高效的解決方案。?

dots.llm1最大的特色之一，是使用了11.2萬億token的非合成高質(zhì)量訓(xùn)練數(shù)據(jù)。在現(xiàn)階段的開源大模型中，如此大規(guī)模的非合成數(shù)據(jù)非常罕見。小紅書憑借自身龐大的語料庫，為模型訓(xùn)練提供了豐富而優(yōu)質(zhì)的數(shù)據(jù)資源。這些數(shù)據(jù)來源于真實(shí)的網(wǎng)絡(luò)內(nèi)容，經(jīng)過精心篩選和處理，確保了數(shù)據(jù)的高質(zhì)量和多樣性。?

得益于高質(zhì)量的訓(xùn)練數(shù)據(jù)，在中文測試中，dots.llm1展現(xiàn)出了強(qiáng)大的性能。它以91.3的平均分，超過了DeepSeek開源的V2、V3，以及阿里開源的Qwen2.532B和72B。這一成績充分證明了dots.llm1在中文語言理解和處理方面的卓越能力。無論是語義理解、文本生成還是知識問答，dots.llm1都能給出高質(zhì)量的回答。?

在模型架構(gòu)方面，dots.llm1使用了單向解碼器Transformer架構(gòu)，并將前饋網(wǎng)絡(luò)替換為MoE。MoE將模型分為多個專家網(wǎng)絡(luò)，每個專家網(wǎng)絡(luò)專注于輸入數(shù)據(jù)的不同方面。在推理過程中，并不激活所有的專家網(wǎng)絡(luò)，而是根據(jù)輸入標(biāo)記的特性，動態(tài)地選擇一小部分專家網(wǎng)絡(luò)進(jìn)行計算。這種稀疏激活的方式極大減少了算力的需求，同時保持了模型的高性能。具體來說，dots.llm1的MoE由128個路由專家和2個共享專家組成。在每個輸入標(biāo)記的處理過程中，dots.llm1會通過一個路由機(jī)制選擇出6個最相關(guān)的專家網(wǎng)絡(luò)，加上2個共享專家，總共激活8個專家網(wǎng)絡(luò)。?

此外，dots.llm1采用了經(jīng)典的多頭注意力機(jī)制（MHA），這是一種廣泛應(yīng)用于Transformer架構(gòu)中的注意力機(jī)制。通過引入RMSNorm，dots.llm1能夠更好地控制注意力機(jī)制的輸出，從而提高模型的穩(wěn)定性和性能。在訓(xùn)練過程中，dots.llm1還采用了AdamW優(yōu)化器，進(jìn)一步提高模型的性能和效率。?

在數(shù)據(jù)處理上，dots.llm1構(gòu)建了一套三級數(shù)據(jù)處理流水線，從雜亂無章的原始網(wǎng)頁數(shù)據(jù)中篩選出高質(zhì)量的語料。經(jīng)過TxT360數(shù)據(jù)集對比實(shí)驗(yàn)驗(yàn)證，該流水線處理后的網(wǎng)頁數(shù)據(jù)在MMLU、TriviaQA等基準(zhǔn)測試中表現(xiàn)優(yōu)于當(dāng)前SOTA開源數(shù)據(jù)。