OpenAI正式宣布推出一項旨在評估AI智能體復現(xiàn)前沿AI研究能力的全新基準——PaperBench。這一基準的發(fā)布，為衡量AI智能體在科研領域的能力提供了重要標準，在AI領域引發(fā)廣泛關注。?

PaperBench的任務挑戰(zhàn)極具難度，它要求智能體從零開始，完整復現(xiàn)20篇在ICML 2024（國際機器學習大會2024）上榮獲Spotlight和Oral榮譽的論文。這不僅考驗智能體對論文核心貢獻和思想的理解深度，更要求它們具備獨立開發(fā)代碼庫，并成功執(zhí)行實驗的實操能力。?

為了保證評估的科學性與公正性，OpenAI與每篇論文的原作者合作，共同制定了詳細的評估標準。整個PaperBench涵蓋了多達8316個可單獨評分的任務，將復現(xiàn)任務細化為層次分明、標準明確的子任務。在測試過程中，多個前沿模型在PaperBench上接受了嚴格檢驗。其中，表現(xiàn)最為突出的智能體Claude 3.5 Sonnet（新版）巧妙結合開源框架，最終取得了平均復現(xiàn)得分21.0%的成績。然而，即便如此，這一成績仍未超越人類基線水平。為了進一步驗證，OpenAI 特意招募了頂尖的機器學習博士參與部分測試集挑戰(zhàn)，結果再次表明，當前 AI 智能體在復現(xiàn)前沿 AI 研究方面，與人類專家仍存在差距。?

與此同時，另一則有關OpenAI的消息也備受矚目。據外媒報道，OpenAI 旗下現(xiàn)象級AI應用ChatGPT的付費訂閱用戶數(shù)量實現(xiàn)了重大突破，已成功跨越2000萬大關?；仡?024年底，這一數(shù)字為1550萬，短短數(shù)月間，增長了450萬，增幅高達約 30%。強勁的增長勢頭表明，ChatGPT目前每月的收入至少達到4.15億美元（年化收入為50億美元），相比 2024 年底至少3.33億美元的月收入（年化收入40億美元）增長了30%。這一增長不僅反映了 ChatGPT在市場中的強大吸引力，也體現(xiàn)出用戶對于高質量AI服務的持續(xù)青睞。