Google AI研究實驗室Google DeepMind發(fā)布了一項關于訓練AI模型的新研究，聲稱該研究將大大提高模型訓練速度和能效，比其他方案的性能高出13倍，能效高出10倍。隨著有關 AI數據中心對環(huán)境影響的討論日益升溫，新的JEST訓練方法的出現(xiàn)可謂恰逢其時。

DeepMind方案被稱為JEST或聯(lián)合示例選擇，以一種簡單的方式打破了傳統(tǒng)AI模型訓練技術。典型的訓練方案側重于單個數據點進行訓練和學習，而JEST則基于整個批次進行訓練。JEST方案首先創(chuàng)建一個較小的AI模型，該模型將對來自極高質量來源的數據質量進行評級，并按質量對批次進行排序；然后，將該評級與較大、質量較低的數據集進行比較；小型JEST 模型確定最適合訓練的批次，然后根據較小模型的結果訓練大型模型。

DeepMind研究人員在論文中明確指出，這種“引導數據選擇過程向較小、精心策劃的數據集分布的能力”對于JEST方案的成功至關重要。谷歌聲稱“我們的方案超越了最先進的模型，迭代次數減少了13 倍，計算量減少了10倍?！?/p>

當然，該系統(tǒng)完全依賴于其訓練數據的質量，因為如果沒有最高質量的人工數據集，引導技術就會失效。這使得業(yè)余愛好者或業(yè)余人工智能開發(fā)者的大多數其他方案更難與JEST相媲美，因為他們可能需要專家級的研究技能來策劃最初的最高等級的訓練數據。

JEST研究可謂趕上好時機，如今科技行業(yè)和世界各國政府已經開始討論人工智能的極端電力需求。2023年，人工智能工作負載約占4.3 GW，幾乎與塞浦路斯全國的年電力消耗相當。而且，電力消耗速度絕對不會減緩：單個ChatGPT請求的耗電量是谷歌搜索的10倍，Arm首席執(zhí)行官估計，到2030年，人工智能耗電量將占據美國電網的四分之一。

至于JEST方案是否會被AI領域的主要參與者采用以及如何采用還有待觀察。據報道，GPT-4o 的訓練成本為1億美元，未來更大的模型可能很快就會達到10億美元訓練成本大關，為些各大企業(yè)都在尋找在節(jié)省開支的方案。有行業(yè)人士認為，JEST方案致力于在更低的功耗下保持當前的訓練生產率，從而降低AI成本。然而，更有可能的是，資本機器將保持全速，采用JEST方案將功耗保持在最大水平，以實現(xiàn)超快速的訓練輸出。成本節(jié)約與產出規(guī)模，誰會贏？