微軟推出了輕量級(jí)人工智能模型Phi-3 Mini下一版本，這是該公司計(jì)劃發(fā)布的三個(gè)小型模型中的第一個(gè)。

Phi-3 Mini可測(cè)量38億個(gè)參數(shù)（參數(shù)是指模型可以理解多少?gòu)?fù)雜指令），并在相對(duì)于GPT-4等大型語(yǔ)言模型更小的數(shù)據(jù)集上進(jìn)行訓(xùn)練。Phi-3 Min已在Azure、Hugging Face和Ollama上提供，微軟計(jì)劃發(fā)布Phi-3 Small（7B參數(shù)）和Phi-3 Medium（14B參數(shù)）。

微軟于12月發(fā)布了Phi-2，其性能與Llama 2等更大的模型一致。微軟表示，Phi-3的性能比之前的版本更先進(jìn)，并且可以提供接近于比它大10倍模型的響應(yīng)。

微軟Azure AI平臺(tái)公司副總裁Eric Boyd表示，Phi-3 Mini與GPT-3.5等LLM一樣性能強(qiáng)大，“只是體積更小”。

與大型人工智能模型相比，小型人工智能模型通常運(yùn)行成本更低，并且在手機(jī)和筆記本電腦等個(gè)人設(shè)備上表現(xiàn)更好。The Information今年早些時(shí)候報(bào)道稱，微軟正在組建一個(gè)專注于輕量級(jí)人工智能模型的團(tuán)隊(duì)。除了Phi，微軟還構(gòu)建了Orca-Math，專注于解決數(shù)學(xué)問(wèn)題的模型。

值得一提的是，微軟競(jìng)爭(zhēng)對(duì)手也有小型人工智能模型，其中大多數(shù)針對(duì)更簡(jiǎn)單的任務(wù)，例如文檔摘要或編碼輔助。谷歌Gemma 2B和7B非常適合簡(jiǎn)單的聊天機(jī)器人和語(yǔ)言相關(guān)處理；Anthropic Claude 3 Haiku可閱讀帶有圖表的密集研究論文并快速總結(jié)，而Meta最近發(fā)布的 Llama 3 8B可用于聊天機(jī)器人和編碼輔助。

Boyd表示，開發(fā)者通過(guò)“課程”對(duì)Phi-3進(jìn)行了培訓(xùn)，靈感來(lái)自于孩子們?nèi)绾螐乃肮适?、單詞更簡(jiǎn)單的書籍以及談?wù)摳笾黝}的句子結(jié)構(gòu)中學(xué)習(xí)。

“市面上沒有足夠的兒童讀物，因此我們列出了3000多個(gè)單詞的清單，以制作‘兒童讀物’LLM來(lái)訓(xùn)練Phi?！?/p>

Boyd補(bǔ)充，Phi-3建立在之前迭代知識(shí)之上。Phi-1專注于編碼，Phi-2學(xué)習(xí)推理，而Phi-3更擅長(zhǎng)編碼和推理。雖然Phi-3系列模型了解一些常識(shí)，但它還無(wú)法在廣度上擊敗GPT-4或其他LLM，通過(guò)互聯(lián)網(wǎng)培訓(xùn)的LLM獲得的答案與像Phi-3這樣的較小模型所得到的答案有很大不同。