
據(jù)The Information報(bào)道,OpenAI下一代旗艦人工智能模型與之前的版本相比改進(jìn)較小,這表明蓬勃發(fā)展的生成人工智能行業(yè)可能正進(jìn)入平臺(tái)期。
據(jù)The Information援引一些使用或測(cè)試過(guò)該模型的員工的話稱,ChatGPT制造商的下一個(gè)模型Orion僅比GPT-4略有改進(jìn)。該報(bào)道還稱,Orion的進(jìn)步比GPT-3和GPT-4之間的進(jìn)步要小,尤其是在編碼任務(wù)方面。
這重新引發(fā)了關(guān)于開(kāi)發(fā)日益先進(jìn)的模型和人工智能縮放定律(關(guān)于模型如何改進(jìn)的理論規(guī)則)的可行性的爭(zhēng)論。
OpenAI首席執(zhí)行官Sam Altman二月份在X平臺(tái)表示,“縮放定律由上帝決定;常數(shù)由技術(shù)人員決定。”
Altman引用的“定律”表明,隨著人工智能模型的規(guī)模不斷擴(kuò)大以及獲得更多數(shù)據(jù)和算力,它們會(huì)變得更加智能。
Altman可能仍然贊同這樣的觀點(diǎn),即預(yù)先確定的公式?jīng)Q定了人工智能可以變得多么智能,但The Information的報(bào)道顯示,在硅谷針對(duì)越來(lái)越多的證據(jù)表明領(lǐng)先模型正遇到性能瓶頸而展開(kāi)激烈爭(zhēng)論的背景下,技術(shù)人員正在質(zhì)疑這些定律。
The Information稱,雖然Orion的訓(xùn)練尚未完成,但OpenAI已采取額外措施來(lái)提高性能,例如根據(jù)人類(lèi)反饋進(jìn)行訓(xùn)練后改進(jìn)。
該模型于一年前首次亮相,在正式發(fā)布之前仍有可能出現(xiàn)顯著改進(jìn)。但這表明,未來(lái)幾代可助力企業(yè)籌集數(shù)十億美元并獲得高估值的人工智能模型可能在每次迭代中都顯得不那么令人印象深刻。
數(shù)據(jù)是縮放定律方程的一個(gè)重要元素,但隨著網(wǎng)上可用的數(shù)據(jù)迅速耗盡,數(shù)據(jù)變得越來(lái)越難獲取。
企業(yè)收集了大量人工數(shù)據(jù)(包括文本、視頻、研究論文)來(lái)訓(xùn)練AI工具和功能模型,但這些數(shù)據(jù)供應(yīng)有限。研究公司Epoch AI在6月份預(yù)測(cè),到2028年,企業(yè)可能會(huì)耗盡可用的文本數(shù)據(jù)。企業(yè)正試圖通過(guò)轉(zhuǎn)向AI本身生成的合成數(shù)據(jù)來(lái)克服限制,但這也帶來(lái)了問(wèn)題。
企業(yè)軟件公司Databricks聯(lián)合創(chuàng)始人兼執(zhí)行主席Ion Stoica告訴 The Information:“對(duì)于常識(shí)性問(wèn)題,你可以說(shuō)目前我們看到LLM的表現(xiàn)處于停滯狀態(tài)”,并補(bǔ)充“事實(shí)數(shù)據(jù)”比合成數(shù)據(jù)更有用。
算力是提升人工智能性能的另一個(gè)因素,但它也并非無(wú)限的。上個(gè)月,在Reddit論壇“問(wèn)我任何事情”主題中,Altman承認(rèn)公司在分配計(jì)算資源方面面臨“許多限制和艱難的決定”。








