阿里云Qwen2功能增強(qiáng),榮登LLM排行榜榜首

?? 由 文心大模型 生成的文章摘要

阿里云最新的語言模型系列推出后不久,憑借其增強(qiáng)的性能和改進(jìn)的安全性,榮登了開源LLM排行榜榜首。

Qwen2模型系列包含許多基礎(chǔ)語言模型和指令調(diào)整語言模型,大小從0.5到720億個(gè)參數(shù),以及MoE模型。

其更新后的功能使Qwen2模型在協(xié)作人工智能平臺Hugging Face開放LLM排行榜上名列第一,該模型可用于商業(yè)或研究目的。另外,Qwen2模型也適用于阿里云AI模型社區(qū)ModelScope。

阿里云首席技術(shù)官周靖人表示:“我們希望打造AI時(shí)代最開放的云,讓算力更普惠、讓AI更觸手可及?!?/p>

得益于阿里云優(yōu)化的訓(xùn)練方法,大模型Qwen2-72B在語言理解、語言生成、多語言能力、編碼、數(shù)學(xué)和推理等15個(gè)基準(zhǔn)測試中超越了其他領(lǐng)先開源模型。

此外,Qwen2-72B表現(xiàn)出令人印象深刻的處理長達(dá)128K個(gè)標(biāo)記的上下文長度的能力,這是模型在生成文本時(shí)可以記住的最大標(biāo)記數(shù)。

為了增強(qiáng)多語言能力,Qwen 2訓(xùn)練除了中文和英語,還涵蓋了27種語言,包括德語、意大利語、阿拉伯語、波斯語和希伯來語。

不僅如此,Qwen2模型采用了Group Query Attention技術(shù),優(yōu)化了計(jì)算效率和模型性能之間的平衡,因此在模型推理中速度更快,內(nèi)存占用更少。

Qwen2模型除了在數(shù)學(xué)和語言學(xué)方面表現(xiàn)出色之外,其輸出還表現(xiàn)出與人類價(jià)值觀更好的一致性。在MT-bench等基準(zhǔn)測試上的比較性能表明,Qwen2在人類偏好的兩個(gè)關(guān)鍵要素上得分很高。MT-bench是一套多輪問題集,用于評估聊天機(jī)器人的多輪對話和指令遵循能力。

通過融入人類反饋以更好與人類價(jià)值觀保持一致,這些模型在安全性和責(zé)任感方面取得了良好表現(xiàn),能夠處理與欺詐和侵犯隱私等非法活動(dòng)相關(guān)的多語言不安全查詢,以防止模型被濫用。

就較小的模型而言,Qwen2-7B在包括編碼在內(nèi)的基準(zhǔn)測試中也勝過其他類似尺寸的先進(jìn)模型。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」