谷歌的一項(xiàng)研究成果引發(fā)了廣泛關(guān)注。在3月上旬，相關(guān)論文發(fā)表于Nature子刊，該研究深入探索了大模型與人腦語(yǔ)言處理機(jī)制之間的關(guān)聯(lián)。?

谷歌的科研團(tuán)隊(duì)開展了一項(xiàng)別具一格的研究，他們將真實(shí)對(duì)話場(chǎng)景中的人腦活動(dòng)，與語(yǔ)音到文本的大型語(yǔ)言模型（LLM）內(nèi)部嵌入進(jìn)行了全面且深入的比較。令人意想不到的是，最終結(jié)果顯示兩者之間呈現(xiàn)出清晰的線性相關(guān)關(guān)系。?

在語(yǔ)言理解順序方面，人腦與大模型表現(xiàn)出了高度的一致性。通常先是接收語(yǔ)音信息，隨后才對(duì)詞義進(jìn)行理解。以日常對(duì)話為例，當(dāng)我們聽到對(duì)方說(shuō)話時(shí)，耳朵先捕捉到語(yǔ)音，緊接著大腦開始解析這些語(yǔ)音所代表的含義。大模型在處理語(yǔ)言信息時(shí)，同樣遵循先處理語(yǔ)音，再深入理解詞義的順序。?

語(yǔ)言生成順序上亦是如此。無(wú)論是人腦還是大模型，都要先進(jìn)行計(jì)劃，組織好想要表達(dá)的內(nèi)容，接著發(fā)出聲音進(jìn)行發(fā)音，最后還能聽到自己所發(fā)出的聲音。比如我們?cè)诨卮饐?wèn)題前，會(huì)在腦海中快速構(gòu)思答案，然后通過(guò)發(fā)聲器官將其表達(dá)出來(lái)，之后我們自己也能聽到說(shuō)出的內(nèi)容。大模型在生成語(yǔ)言時(shí)，也是先構(gòu)建內(nèi)容框架，再將其轉(zhuǎn)化為具體的語(yǔ)音輸出。?

而在上下文預(yù)測(cè)單詞這一復(fù)雜且關(guān)鍵的語(yǔ)言處理環(huán)節(jié)，人腦與大模型同樣展現(xiàn)出驚人的一致性。當(dāng)我們處于一段對(duì)話中，會(huì)根據(jù)前文的語(yǔ)境來(lái)預(yù)測(cè)接下來(lái)可能出現(xiàn)的單詞。大模型也具備類似的能力，它能夠依據(jù)給定的上下文信息，較為準(zhǔn)確地預(yù)測(cè)出最符合語(yǔ)境的單詞。?

為了完成這項(xiàng)研究，谷歌團(tuán)隊(duì)付出了諸多努力。他們引入了一個(gè)統(tǒng)一的計(jì)算框架，這個(gè)框架巧妙地將聲學(xué)、語(yǔ)音和單詞級(jí)語(yǔ)言結(jié)構(gòu)緊密聯(lián)系起來(lái)，為研究人腦中日常對(duì)話的神經(jīng)基礎(chǔ)奠定了堅(jiān)實(shí)基礎(chǔ)。在具體操作過(guò)程中，研究人員一方面運(yùn)用皮層電圖，記錄下參與者在進(jìn)行開放式真實(shí)對(duì)話時(shí)，語(yǔ)音生成和理解過(guò)程中的神經(jīng)信號(hào)，累計(jì)時(shí)長(zhǎng)高達(dá) 100小時(shí)。另一方面，從 Whisper 模型中精準(zhǔn)提取出低級(jí)聲學(xué)、中級(jí)語(yǔ)音和上下文單詞嵌入。隨后，他們開發(fā)出編碼模型，通過(guò)這個(gè)模型將這些嵌入詞以線性映射的方式，對(duì)應(yīng)到語(yǔ)音生成和理解過(guò)程中的大腦活動(dòng)上。令人驚喜的是，這一模型能夠精準(zhǔn)預(yù)測(cè)未用于訓(xùn)練模型的數(shù)小時(shí)新對(duì)話中，語(yǔ)言處理層次結(jié)構(gòu)各層次的神經(jīng)活動(dòng)。

隨著人工智能的迅猛發(fā)展，如今已需要三條不同的定律來(lái)闡釋以不同方式運(yùn)用計(jì)算資源對(duì)模型性能產(chǎn)生的影響。這三條人工智能擴(kuò)展定律，即訓(xùn)練前擴(kuò)展、訓(xùn)練后擴(kuò)展以及測(cè)試時(shí)擴(kuò)展（也被稱作長(zhǎng)期思考），它們充分反映出人工智能領(lǐng)域如何伴隨著技術(shù)的進(jìn)步而不斷演變，以便在各類愈發(fā)復(fù)雜的人工智能應(yīng)用場(chǎng)景中有效利用額外的計(jì)算資源。

近期，測(cè)試時(shí)間擴(kuò)展（即在推理階段投入更多計(jì)算資源以提升準(zhǔn)確性）的興起，使得人工智能推理模型得以實(shí)現(xiàn)。這是一種新型的大型語(yǔ)言模型（LLM），它能夠通過(guò)執(zhí)行多次推理來(lái)解決復(fù)雜問(wèn)題，并且在解決過(guò)程中詳細(xì)描述完成任務(wù)所需的步驟。然而，測(cè)試時(shí)間擴(kuò)展需要大量的計(jì)算資源來(lái)支撐人工智能推理，這無(wú)疑會(huì)進(jìn)一步加大對(duì)加速計(jì)算的需求。

預(yù)訓(xùn)練擴(kuò)展是人工智能發(fā)展最初遵循的規(guī)律。該定律指出，通過(guò)增加訓(xùn)練數(shù)據(jù)集的規(guī)模、模型參數(shù)的數(shù)量以及計(jì)算資源的投入，開發(fā)人員可以預(yù)期模型的智能程度和準(zhǔn)確性將獲得可預(yù)測(cè)的提升。

這三個(gè)要素，即數(shù)據(jù)、模型大小以及計(jì)算，它們之間相互關(guān)聯(lián)。依據(jù)本研究論文所概述的預(yù)訓(xùn)練擴(kuò)展定律，當(dāng)更大規(guī)模的模型輸入更多的數(shù)據(jù)時(shí)，模型的整體性能將會(huì)得到提高。為了達(dá)成這一目標(biāo)，開發(fā)人員必須擴(kuò)充自身的計(jì)算能力，這就迫切需要強(qiáng)大的加速計(jì)算資源來(lái)運(yùn)行那些更為龐大的訓(xùn)練任務(wù)。

正是這種預(yù)訓(xùn)練擴(kuò)展原則催生出了具備突破性能力的大型模型。同時(shí)，它也有力地推動(dòng)了模型架構(gòu)的重大創(chuàng)新，其中包括擁有十億乃至萬(wàn)億參數(shù)的轉(zhuǎn)換器模型的興起、專家模型的混合運(yùn)用以及全新的分布式訓(xùn)練技術(shù)。而所有這些創(chuàng)新，都對(duì)計(jì)算資源有著極大的需求。

預(yù)訓(xùn)練縮放定律的重要性依舊在持續(xù)顯現(xiàn)。隨著人類持續(xù)產(chǎn)生數(shù)量越來(lái)越多的多模態(tài)數(shù)據(jù)，這些由文本、圖像、音頻、視頻和傳感器信息構(gòu)成的豐富資源，未來(lái)將被用于訓(xùn)練更為強(qiáng)大的人工智能模型。

不過(guò)，預(yù)訓(xùn)練大型基礎(chǔ)模型并非適用于所有組織或個(gè)人。它需要巨額的投資、專業(yè)熟練的專家以及優(yōu)質(zhì)的數(shù)據(jù)集。但是，一旦某個(gè)組織完成預(yù)訓(xùn)練并發(fā)布模型，便會(huì)降低人工智能的應(yīng)用門檻，使得其他組織或個(gè)人能夠?qū)⑵漕A(yù)訓(xùn)練模型作為基礎(chǔ)，來(lái)適配自身的應(yīng)用場(chǎng)景。

這一訓(xùn)練后過(guò)程，在企業(yè)以及更廣泛的開發(fā)者社區(qū)中，引發(fā)了對(duì)加速計(jì)算額外的累積性需求。熱門的開源模型或許會(huì)衍生出數(shù)百甚至數(shù)千個(gè)不同的衍生模型，這些衍生模型會(huì)在眾多領(lǐng)域展開訓(xùn)練。據(jù)估算，為各類用例開發(fā)這種衍生模型生態(tài)系統(tǒng)所需的計(jì)算量，大概要比預(yù)訓(xùn)練原始基礎(chǔ)模型多30倍左右。

隨著越來(lái)越多的中國(guó)手機(jī)制造商將生成人工智能技術(shù)融入其設(shè)備，阿里云計(jì)算部門正向非洲領(lǐng)先的智能手機(jī)供應(yīng)商傳音控股提供其通義千問(wèn)大型語(yǔ)言模型（LLM）。

阿里云宣布與傳音控股建立合作伙伴關(guān)系，通義千問(wèn)將為Phantom V Fold2的GenAI功能提供支持，Phantom V Fold2是這家總部位于深圳的手機(jī)制造商旗下Tecno品牌的最新旗艦 Android 5G智能手機(jī)。

兩家公司設(shè)備上的GenAI服務(wù)使用AI按鈕，使用戶能夠進(jìn)行多輪AI對(duì)話并快速摘要文檔和電話通話信息。

LLM是ChatGPT等GenAI服務(wù)的基礎(chǔ)技術(shù)。GenAI指的是可用于創(chuàng)建新內(nèi)容的算法，包括音頻、代碼、圖像、文本、模擬和視頻。

傳音TEX人工智能中心總經(jīng)理史團(tuán)委表示，通義千問(wèn)在人工智能推理方面具有“出色的表現(xiàn)”。傳音TEX人工智能中心是傳音與聯(lián)發(fā)科去年在深圳成立的聯(lián)合實(shí)驗(yàn)室。

史團(tuán)委表示，“推理能耗優(yōu)化”已成為將人工智能模型集成到設(shè)備上的一大挑戰(zhàn)。人工智能推理是經(jīng)過(guò)訓(xùn)練的模型根據(jù)全新的實(shí)時(shí)數(shù)據(jù)得出結(jié)論或解決任務(wù)的過(guò)程。

中鋁集團(tuán)董事長(zhǎng)段向東表示，中鋁將與有色金屬行業(yè)同行攜手，共同推進(jìn)行業(yè)數(shù)字化開發(fā)和大模型應(yīng)用。

這一倡議有望獲得中國(guó)有色金屬工業(yè)協(xié)會(huì)及相關(guān)合作伙伴，以及國(guó)家發(fā)展和改革委員會(huì)、工業(yè)和信息化部、國(guó)務(wù)院國(guó)有資產(chǎn)監(jiān)督管理委員會(huì)、國(guó)家互聯(lián)網(wǎng)信息辦公室等主要政府部門的支持。

段向東在“坤安”人工智能模型發(fā)布會(huì)上發(fā)表了上述講話，該模型專為有色金屬行業(yè)設(shè)計(jì)。此次發(fā)布會(huì)由中鋁與中國(guó)有色金屬工業(yè)協(xié)會(huì)聯(lián)合舉辦。

作為有色金屬行業(yè)龍頭企業(yè)，中鋁建立了自主可控的人工智能計(jì)算中心，研發(fā)了行業(yè)首個(gè)通用大語(yǔ)言模型——坤安。

坤安大模型集成了數(shù)百億數(shù)據(jù)點(diǎn)和行業(yè)專業(yè)知識(shí)，提供自然語(yǔ)言處理、圖像分析、預(yù)測(cè)模型和科學(xué)問(wèn)題解決方面的先進(jìn)功能。

坤安旨在基于人工智能力量，升級(jí)有色金屬行業(yè)從勘探、采礦到加工和回收的運(yùn)營(yíng)流程。不僅如此中鋁還加強(qiáng)了礦產(chǎn)資源、生產(chǎn)、網(wǎng)絡(luò)、數(shù)據(jù)和算法等關(guān)鍵領(lǐng)域的安全性。

段向東表示：“公司有望進(jìn)一步強(qiáng)化大模型的技術(shù)基礎(chǔ)，加速突破認(rèn)知智能操作系統(tǒng)和工業(yè)人工智能關(guān)鍵技術(shù)，推動(dòng)資本、人才、技術(shù)、數(shù)據(jù)、算力的深度協(xié)同。”

段向東強(qiáng)調(diào)，要加強(qiáng)人工智能創(chuàng)新與產(chǎn)業(yè)價(jià)值鏈的協(xié)同，提升有色金屬行業(yè)的人工智能能力，推動(dòng)整個(gè)行業(yè)的轉(zhuǎn)型進(jìn)步。

他說(shuō)：“此外，還應(yīng)加大力度完善應(yīng)用驅(qū)動(dòng)的生態(tài)系統(tǒng)，利用現(xiàn)實(shí)場(chǎng)景推動(dòng)可持續(xù)發(fā)展。”

段向東表示，我國(guó)有色金屬行業(yè)產(chǎn)業(yè)鏈條完整、應(yīng)用場(chǎng)景多樣、數(shù)據(jù)資源豐富、市場(chǎng)規(guī)模巨大，具有獨(dú)特優(yōu)勢(shì)，必須充分發(fā)揮。

大型語(yǔ)言模型（LLM）供應(yīng)商已發(fā)展出獨(dú)特的超能力——這將導(dǎo)致2025年出現(xiàn)逐漸增加的差異化和競(jìng)爭(zhēng)的等級(jí)制度。

2024年，大型模型競(jìng)賽的關(guān)鍵在于與GPT-4相提并論。如今，有五家公司實(shí)現(xiàn)了這一目標(biāo)（或足夠接近），從而成為“決賽選手”：微軟/OpenAI、亞馬遜/Anthropic、谷歌、Meta和xAI。

為了達(dá)到GPT-4的質(zhì)量，這些公司采用了大致相同的策略：收集盡可能多的數(shù)據(jù)，在盡可能多的GPU上進(jìn)行訓(xùn)練，并改進(jìn)訓(xùn)練前/訓(xùn)練后架構(gòu)以最大限度提高性能。隨著2024年人才在企業(yè)間流動(dòng)，幾乎沒(méi)有商業(yè)秘密可言。

隨著每個(gè)參與者為下一輪LLM擴(kuò)展做準(zhǔn)備（這很可能涉及計(jì)算規(guī)模的再次增加10倍），實(shí)驗(yàn)室正在發(fā)展差異化的超級(jí)能力?？梢哉f(shuō)，已經(jīng)為未來(lái)的戰(zhàn)斗“選擇了武器”；到2025年，這些不同的策略應(yīng)該會(huì)導(dǎo)致截然不同的結(jié)果，一些參與者會(huì)領(lǐng)先，而另一些則會(huì)落后。

谷歌：谷歌在2025年的優(yōu)勢(shì)在于垂直整合。谷歌是唯一一家擁有一流芯片的廠商：TPU有機(jī)會(huì)在2025年與NVDA GPU一較高下。谷歌還建立了自己的數(shù)據(jù)中心，訓(xùn)練專屬模型，并擁有一支非常強(qiáng)大的內(nèi)部研究團(tuán)隊(duì)。與分別與OpenAI和Anthropic合作的微軟和亞馬遜不同，谷歌通過(guò)擁有價(jià)值鏈的各部分以爭(zhēng)取勝利。

OpenAI：OpenAI在人工智能領(lǐng)域擁有最強(qiáng)大的品牌，這是毫無(wú)疑問(wèn)的。這使其成為大型人工智能公司中最強(qiáng)大的收入引擎，據(jù)報(bào)道，OpenAI的收入超過(guò)36億美元。如果人工智能的成功最終取決于消費(fèi)者的認(rèn)知度和企業(yè)分銷，OpenAI可能會(huì)繼續(xù)擴(kuò)大與競(jìng)爭(zhēng)對(duì)手之間的差距。

Anthropic ：2024年，OpenAI的研究人才大量外流，而Anthropic則迎來(lái)大量人才。隨著Jon Schulman、Durk Kingma和Jan Leike于2024年離開OpenAI加盟Anthropic，Anthropic的研究人才數(shù)量不斷增加。該公司還聘請(qǐng)了一些高管，包括Instagram聯(lián)合創(chuàng)始人Mike Kreiger擔(dān)任首席產(chǎn)品官。在GPT-3發(fā)明者Dario Amodei的領(lǐng)導(dǎo)下，Anthropic已成為人工智能科學(xué)家的首選目的地。

xAI：我們?cè)凇颁撹F、服務(wù)器和電力”一文中寫到了數(shù)據(jù)中心建設(shè)對(duì)下一階段人工智能競(jìng)賽的重要性。隨著xAI以創(chuàng)紀(jì)錄的速度推出10萬(wàn)GPU Colossus集群，該公司現(xiàn)在已成為數(shù)據(jù)中心擴(kuò)展的領(lǐng)跑者。xAI及其競(jìng)爭(zhēng)對(duì)手的下一個(gè)里程碑將是20萬(wàn)集群，然后是30萬(wàn)集群。如果“規(guī)模就是一切”最終成為現(xiàn)實(shí)，那么xAI就完全有能力繼續(xù)快速崛起。

Meta： Meta已經(jīng)通過(guò)Instagram、WhatsApp和Facebook獲得了強(qiáng)大的分發(fā)優(yōu)勢(shì)，現(xiàn)在它選擇全力投入開源。Meta是該領(lǐng)域唯一一家采用這種方式的大型企業(yè)。Meta Llama模型擁有忠實(shí)的粉絲，而閉源與開源的爭(zhēng)論仍在繼續(xù)。如果前沿技術(shù)的發(fā)展開始放緩，Meta將能夠充分利用其開源模型來(lái)快速傳播這些功能。

加拿大人工智能初創(chuàng)公司Cohere向路透社表示，該公司最新估值為55億美元，將專注于為企業(yè)用戶構(gòu)建定制模型，而不是更大的基礎(chǔ)模型。

該公司闡述了其戰(zhàn)略的演變。自ChatGPT出現(xiàn)兩年來(lái)，許多公司仍在試圖弄清楚如何將大型語(yǔ)言模型融入到日常工作中。

Cohere聯(lián)合創(chuàng)始人Nick Frosst表示：“我們從客戶那里聽到的是，他們不僅僅需要更大的模型來(lái)擅長(zhǎng)所有事情，也需要真正為特定用例構(gòu)建的模型?！?/p>

Cohere被視為OpenAI和Anthropic等人工智能實(shí)驗(yàn)室的競(jìng)爭(zhēng)對(duì)手，該公司表示將繼續(xù)開發(fā)基礎(chǔ)模型，但將專注于其他訓(xùn)練技術(shù)來(lái)改進(jìn)模型，而不是增加模型大小。雖然向其模型出售應(yīng)用程序編程接口（API）仍將是Cohere產(chǎn)品的一小部分，但重點(diǎn)是定制模型部署。

構(gòu)建更大、更好模型的競(jìng)爭(zhēng)推動(dòng)了從初創(chuàng)公司到大型科技公司的投資熱潮。OpenAI、Anthropic 和xAI已籌集數(shù)十億美元，用于資助前沿AI模型的資本密集型開發(fā)。

Cohere總部位于多倫多和舊金山，已從英偉達(dá)、思科和Innovia Capital等投資者那里籌集了超過(guò)9億美元。

Cohere定位為一家獨(dú)立于云供應(yīng)商、專注于企業(yè)的AI公司。該公司一直與Oracle和Fujisu等客戶直接合作，根據(jù)具體需求定制模型。

印度IT服務(wù)供應(yīng)商印孚瑟斯（Infosys）董事長(zhǎng)Nandan Nilekani認(rèn)為，人工智能的未來(lái)不在于ChatGPT等巨型模型，而在于量身定制的小型語(yǔ)言模型。這些模型可以處理特定數(shù)據(jù)，幫助企業(yè)提高生產(chǎn)力并獨(dú)立制定AI戰(zhàn)略。

大公司越來(lái)越多自我發(fā)問(wèn)：“我們?nèi)绾握瓶厝斯ぶ悄芪磥?lái)？”，Nilekani在印度科技中心班加羅爾接受采訪時(shí)表示：“針對(duì)特定數(shù)據(jù)訓(xùn)練的小型語(yǔ)言模型實(shí)際上非常有效，公司不需要建立龐大的模型。”

印孚瑟斯是一家全球軟件和咨詢服務(wù)供應(yīng)商，年收入近190億美元，該公司正響應(yīng)這一趨勢(shì)，正在開發(fā)針對(duì)50多個(gè)國(guó)家客戶需求的AI解決方案。最近，印孚瑟斯推出了與英偉達(dá)合作開發(fā)的兩個(gè)小型語(yǔ)言模型，這些模型使用印孚瑟斯數(shù)據(jù)進(jìn)行訓(xùn)練，并集成到數(shù)字銀行軟件 Finacle等產(chǎn)品中。

“我們?yōu)榭蛻籼峁┠Ｐ蛣?chuàng)建服務(wù)，從而讓建模不再神秘?！盢ilekani強(qiáng)調(diào)，這項(xiàng)技術(shù)現(xiàn)在非常普及，幾個(gè)月內(nèi)就可以開發(fā)出模型。

雖然這一發(fā)展為印孚瑟斯等老牌服務(wù)商創(chuàng)造了機(jī)會(huì)，但同時(shí)也給那些在大型語(yǔ)言模型上投入巨資的初創(chuàng)公司帶來(lái)了問(wèn)題。值得一提的是，蘋果、谷歌和微軟等公司最近也推出了參數(shù)精簡(jiǎn)的人工智能模型，以滿足客戶的需求。

然而，分析師警告稱，由于人工智能的發(fā)展，印度的外包行業(yè)可能會(huì)面臨壓力。不過(guò)，如果企業(yè)開發(fā)自己的模型，印孚瑟斯等服務(wù)商可以發(fā)揮關(guān)鍵作用，協(xié)助建立這些模型并組織數(shù)據(jù)。

Nilekani被認(rèn)為是印度科技界的一位關(guān)鍵人物，他承認(rèn)人工智能可能會(huì)取代該行業(yè)的一些工作職能。然而，這項(xiàng)技術(shù)將創(chuàng)造新的角色，特別是對(duì)于開發(fā)和應(yīng)用人工智能模型的技術(shù)人員來(lái)說(shuō)。

據(jù)路透社報(bào)道，微軟否認(rèn)了有關(guān)其使用Microsoft 365應(yīng)用（如Word和Excel）中的客戶數(shù)據(jù)來(lái)訓(xùn)練人工智能模型的指控。最近，社交媒體用戶對(duì)該公司的“連接體驗(yàn)”功能表示擔(dān)憂，聲稱該功能要求用戶選擇退出，并猜測(cè)這些數(shù)據(jù)可能用于人工智能訓(xùn)練。微軟現(xiàn)已駁斥了這些指控，強(qiáng)調(diào)其對(duì)數(shù)據(jù)隱私的承諾。

這一誤解源于Microsoft Office中的一項(xiàng)隱私設(shè)置，該設(shè)置啟用了“可選連接體驗(yàn)”，允許使用在線圖片搜索或訪問(wèn)基于互聯(lián)網(wǎng)的信息等功能。此設(shè)置默認(rèn)啟用，但其披露中并未提及AI訓(xùn)練。

此外，一份日期為2024年10月21日的微軟學(xué)習(xí)文檔列出了Office中“分析您的內(nèi)容”的各種連接體驗(yàn)，但并未明確說(shuō)明不包括訓(xùn)練大型語(yǔ)言模型，這進(jìn)一步加劇了混亂。

微軟發(fā)言人表示：“這些說(shuō)法不實(shí)。微軟不會(huì)使用Microsoft 365消費(fèi)者和商業(yè)應(yīng)用中的客戶數(shù)據(jù)來(lái)訓(xùn)練基礎(chǔ)大型語(yǔ)言模型”。

發(fā)言人進(jìn)一步補(bǔ)充，“連接體驗(yàn)”支持共同創(chuàng)作和云存儲(chǔ)等功能，與該軟件巨頭訓(xùn)練其大型語(yǔ)言模型的方式無(wú)關(guān)。

微軟通訊主管Frank Shaw也在Bluesky上回應(yīng)了這個(gè)問(wèn)題，揭穿了這些說(shuō)法，并重申Microsoft 365中的客戶數(shù)據(jù)不會(huì)用于訓(xùn)練AI模型。他說(shuō)：“在M365應(yīng)用中，我們不會(huì)使用客戶數(shù)據(jù)來(lái)訓(xùn)練LLM，此設(shè)置僅啟用需要互聯(lián)網(wǎng)訪問(wèn)的功能，例如共同創(chuàng)作文檔。”