Meta首席執(zhí)行官馬克·扎克伯格在生成式人工智能訓(xùn)練方面邁出了最新一步，他表示，公司Llama AI模型下一個(gè)重要版本正在一個(gè)gpu集群上進(jìn)行訓(xùn)練，該gpu集群的規(guī)?！氨纫酝魏螘r(shí)候都大”。

扎克伯格在財(cái)報(bào)電話會(huì)議上告訴投資者和分析師，“Llama 4”的開發(fā)進(jìn)展順利，預(yù)計(jì)將于明年初發(fā)布。扎克伯格說(shuō)：“我們正在一個(gè)超過(guò)10萬(wàn)個(gè)h100的集群上訓(xùn)練Llama 4模型，或者比我所見過(guò)的其他集群都要大?！彼傅氖怯糜谟?xùn)練人工智能系統(tǒng)的英偉達(dá)芯片。“我預(yù)計(jì)較小的Llama 4型號(hào)將首先準(zhǔn)備好?！?/p>

人們普遍認(rèn)為，通過(guò)更多的算力和數(shù)據(jù)來(lái)增加人工智能訓(xùn)練的規(guī)模，是開發(fā)更有能力的人工智能模型的關(guān)鍵。雖然Meta現(xiàn)在處于領(lǐng)先地位，但該領(lǐng)域的大多數(shù)大公司可能都在致力于使用擁有超過(guò)10萬(wàn)個(gè)高級(jí)芯片的計(jì)算集群。今年3月，Meta和英偉達(dá)分享了用于開發(fā)Llama 3的約2.5萬(wàn)個(gè)h100集群的詳細(xì)信息。今年7月，馬斯克吹噓xAI已與英偉達(dá)合作，建立了10萬(wàn)臺(tái)h100?！斑@是世界上最強(qiáng)大的人工智能訓(xùn)練集群！”馬斯克彼時(shí)在X平臺(tái)表示。

扎克伯格拒絕透露Llama 4潛在先進(jìn)能力的細(xì)節(jié)，但模糊提到了“新模式”、“更強(qiáng)推理能力”和“效率快得多”。

Meta人工智能方案被證明是企業(yè)爭(zhēng)奪主導(dǎo)地位的一張不確定牌。Llama模型完全免費(fèi)下載，而OpenAI、谷歌和大多數(shù)其他大公司開發(fā)的模型只能通過(guò)API訪問。事實(shí)證明，Llama在初創(chuàng)公司和研究人員中非常受歡迎，他們希望完全控制自己的模型、數(shù)據(jù)和計(jì)算成本。

雖然Meta將其吹捧為“開源”，但Llama許可證確實(shí)對(duì)該模型的商業(yè)用途施加了一些限制。Meta也沒有披露模型訓(xùn)練的細(xì)節(jié)，這限制了外界探究其工作原理。Meta在2023年7月發(fā)布了Llama的第一個(gè)版本，并于今年9月發(fā)布了最新版本Llama 3.2。

管理如此龐大的芯片陣列來(lái)開發(fā)Llama 4將會(huì)帶來(lái)工程挑戰(zhàn)，并需要大量的能源。

據(jù)估計(jì)，一個(gè)由10萬(wàn)個(gè)H100芯片組成的集群需要150兆瓦電力。相比之下，美國(guó)最大的國(guó)家實(shí)驗(yàn)室超級(jí)計(jì)算機(jī)El Capitan需30兆瓦電力。Meta預(yù)計(jì)今年將花費(fèi)高達(dá)400億美元資金提供數(shù)據(jù)中心和其他基礎(chǔ)設(shè)施，投資比2023年增加42%以上。Meta預(yù)計(jì)，明年這方面的支出將更強(qiáng)勁增長(zhǎng)。

盡管Meta總運(yùn)營(yíng)成本今年增長(zhǎng)了約9%，不過(guò)總銷售額（主要來(lái)自廣告業(yè)務(wù)，飆升了22%以上），這使得該公司有更多的資金投入“Llama”項(xiàng)目。