Google AI研究實(shí)驗(yàn)室Google DeepMind發(fā)布了一項(xiàng)關(guān)于訓(xùn)練AI模型的新研究，聲稱該研究將大大提高模型訓(xùn)練速度和能效，比其他方案的性能高出13倍，能效高出10倍。隨著有關(guān) AI數(shù)據(jù)中心對(duì)環(huán)境影響的討論日益升溫，新的JEST訓(xùn)練方法的出現(xiàn)可謂恰逢其時(shí)。

DeepMind方案被稱為JEST或聯(lián)合示例選擇，以一種簡(jiǎn)單的方式打破了傳統(tǒng)AI模型訓(xùn)練技術(shù)。典型的訓(xùn)練方案?jìng)?cè)重于單個(gè)數(shù)據(jù)點(diǎn)進(jìn)行訓(xùn)練和學(xué)習(xí)，而JEST則基于整個(gè)批次進(jìn)行訓(xùn)練。JEST方案首先創(chuàng)建一個(gè)較小的AI模型，該模型將對(duì)來(lái)自極高質(zhì)量來(lái)源的數(shù)據(jù)質(zhì)量進(jìn)行評(píng)級(jí)，并按質(zhì)量對(duì)批次進(jìn)行排序；然后，將該評(píng)級(jí)與較大、質(zhì)量較低的數(shù)據(jù)集進(jìn)行比較；小型JEST 模型確定最適合訓(xùn)練的批次，然后根據(jù)較小模型的結(jié)果訓(xùn)練大型模型。

DeepMind研究人員在論文中明確指出，這種“引導(dǎo)數(shù)據(jù)選擇過(guò)程向較小、精心策劃的數(shù)據(jù)集分布的能力”對(duì)于JEST方案的成功至關(guān)重要。谷歌聲稱“我們的方案超越了最先進(jìn)的模型，迭代次數(shù)減少了13 倍，計(jì)算量減少了10倍?！?/p>

當(dāng)然，該系統(tǒng)完全依賴于其訓(xùn)練數(shù)據(jù)的質(zhì)量，因?yàn)槿绻麤](méi)有最高質(zhì)量的人工數(shù)據(jù)集，引導(dǎo)技術(shù)就會(huì)失效。這使得業(yè)余愛(ài)好者或業(yè)余人工智能開(kāi)發(fā)者的大多數(shù)其他方案更難與JEST相媲美，因?yàn)樗麄兛赡苄枰獙＜壹?jí)的研究技能來(lái)策劃最初的最高等級(jí)的訓(xùn)練數(shù)據(jù)。

JEST研究可謂趕上好時(shí)機(jī)，如今科技行業(yè)和世界各國(guó)政府已經(jīng)開(kāi)始討論人工智能的極端電力需求。2023年，人工智能工作負(fù)載約占4.3 GW，幾乎與塞浦路斯全國(guó)的年電力消耗相當(dāng)。而且，電力消耗速度絕對(duì)不會(huì)減緩：?jiǎn)蝹€(gè)ChatGPT請(qǐng)求的耗電量是谷歌搜索的10倍，Arm首席執(zhí)行官估計(jì)，到2030年，人工智能耗電量將占據(jù)美國(guó)電網(wǎng)的四分之一。

至于JEST方案是否會(huì)被AI領(lǐng)域的主要參與者采用以及如何采用還有待觀察。據(jù)報(bào)道，GPT-4o 的訓(xùn)練成本為1億美元，未來(lái)更大的模型可能很快就會(huì)達(dá)到10億美元訓(xùn)練成本大關(guān)，為些各大企業(yè)都在尋找在節(jié)省開(kāi)支的方案。有行業(yè)人士認(rèn)為，JEST方案致力于在更低的功耗下保持當(dāng)前的訓(xùn)練生產(chǎn)率，從而降低AI成本。然而，更有可能的是，資本機(jī)器將保持全速，采用JEST方案將功耗保持在最大水平，以實(shí)現(xiàn)超快速的訓(xùn)練輸出。成本節(jié)約與產(chǎn)出規(guī)模，誰(shuí)會(huì)贏？