去年2月當(dāng)谷歌人工智能聊天機(jī)器人Bard聲稱韋伯太空望遠(yuǎn)鏡已經(jīng)拍攝了第一張?zhí)栂低庑行堑膱D像，但事實(shí)并非如此。當(dāng)普渡大學(xué)研究人員向ChatGPT提出500多個(gè)編程問題時(shí)，超過一半的回答是不準(zhǔn)確的。

為此專家擔(dān)心，隨著模型越來越大，回答的問題也越來越復(fù)雜，人工智能所具備的專業(yè)知識(shí)最終將超越大多數(shù)人類用戶。如果這樣的“超人”系統(tǒng)真的出現(xiàn)了，我們?cè)趺茨芟嘈潘鼈冋f的話？“關(guān)鍵在于你試圖解決的問題超出了你的實(shí)際能力，”，紐約大學(xué)數(shù)據(jù)科學(xué)中心的計(jì)算機(jī)科學(xué)家朱利安·邁克爾表示，“如何監(jiān)督一個(gè)系統(tǒng)成功完成你無法執(zhí)行的任務(wù)？”

而如果讓兩個(gè)大型模型辯論給定問題的答案，留下一個(gè)更簡(jiǎn)單的模型（或人類）來識(shí)別更準(zhǔn)確的答案。從理論上講，這個(gè)過程允許兩個(gè)智能體相互挑剔對(duì)方的論點(diǎn)，直到掌握足夠的信息來辨別真相。

構(gòu)建值得信賴的人工智能系統(tǒng)是更大目標(biāo)的一部分，即“協(xié)調(diào)一致”，其重點(diǎn)是確保人工智能系統(tǒng)與人類用戶具有相同的價(jià)值觀和目標(biāo)。如今，“協(xié)調(diào)一致”依賴于人類反饋——人類評(píng)判人工智能，但人類反饋可能很快就不足以確保系統(tǒng)的準(zhǔn)確性。近年來，研究人員越來越多呼吁采用“可擴(kuò)展監(jiān)督”的新方法，這是一種確保真相的方法，即使超人系統(tǒng)執(zhí)行人類無法執(zhí)行的任務(wù)也是如此。

多年來，計(jì)算機(jī)科學(xué)家一直在思考可擴(kuò)展的監(jiān)督。在LLM變得如此龐大和普遍之前，2018年，人們開始爭(zhēng)論一種可能性方法，該方法的創(chuàng)始人之一是杰弗里·歐文，他現(xiàn)在是英國(guó)人工智能安全研究所的首席科學(xué)家。杰弗里于2017年加入OpenAI，兩年后該公司發(fā)布了GPT-2，這是最早受到廣泛關(guān)注的LLM之一。杰弗里希望最終致力于將人工智能系統(tǒng)與人類目標(biāo)相結(jié)合，“試圖問問人類他們想要什么，然后讓模型去做?！?/p>