Nature重磅：AI寫的論文，在頂會同行評審擊敗55%人類，單篇15美元

新智元報道

編輯：元宇

【新智元導讀】剛剛，Nature蓋章AI獨立科研時代！全新Scaling Law顯現，人類死守的學術鐵王座，正發生不可逆的轉移。

一篇長達數十頁的學術論文，在人類設定研究主題和實驗邊界后，系統自動完成了從實驗到寫作的大部分流程。

從論文正文、實驗代碼、圖表和投稿稿件，主要由系統端到端自動生成。

它被投遞到頂尖機器學習會議ICLR 2025某workshop的同行評審流程中，三位匿名審稿人不知道具體哪幾篇是AI生成稿件，他們對著這篇稿件分別打出了6、7、6的高分。

這個成績，高于約55%的同場投稿。稿件在評審完成后按實驗協議撤回，未進入正式發表階段。

這并非科幻，這是剛剛被《Nature》報道的一項震撼研究。

該項研究是由Sakana AI聯合牛津大學、UBC共同推出的全自動AI科學家「The AI Scientist」。

Sakana AI聯合創始人兼 CEO David Ha在推文中表示，啟動該項目，正是想探索大模型是否能夠完成整個科研全流程：

我堅信，AI將永遠改變科學發現和科研進步的方式。

全自動「AI科學家」

究竟做了什么？

這一次，不是AI在「幫」人干活，而是AI第一次把科研流程從頭走到尾。

一直以來，AI在科研領域的定位都是「高級打工人」：比如幫化學家折疊蛋白質，或是幫程序員找bug。

定義問題和統籌全局的，始終是人類。

The AI Scientist的出現，則顛覆了這套「主仆敘事」，它完整覆蓋了科研的四大核心階段：Idea生成、實驗迭代、論文寫作、自動評審。

在全新升級的v2版本中，它甚至走向了「無模板」模式：徹底拋棄人類提供的初始代碼腳手架，引入了強大的「智能體樹搜索」（agentic tree search）機制。

這意味著它能在龐大的未知解空間里，同時開啟多條主線并行探索。科研不再是單線程試錯，而變成了一個可擴展的搜索過程。

它怎么保證自己不和別人撞車？

系統會調用Semantic Scholar API進行全網查重，確保每一個idea都具備足夠的新穎性。

在最棘手的數據可視化環節，它甚至內置了一個視覺語言模型（VLM）作為反饋審閱者。

如果坐標軸反了、圖例丟了、展示有歧義，VLM會像嚴苛的導師一樣立刻打回重做，直到生成完美的學術圖表。

過去圖表只是論文包裝，現在圖表也成了AI科研的反饋信號。

而完成這堪比博士生幾個月工作量的閉環，它的賬單是：單篇論文15美元。

如此驚人的性價比意味著，科研自動化第一次從「局部輔助」跨進了「全鏈路主導」。

AI不再只是科學家的輔助工具，而是向更具自主性的科研代理系統演進。

AI Scientist工作流程的概念概述，包括提出研究想法、實施實驗、執行實驗、撰寫論文以及審閱論文。

通過人類同行評審測試

AI寫的論文，人類學術金字塔尖的學者到底認不認？

于是，Sakana AI決定玩一把大的：直接向頂會投稿。

在獲得ICLR大會領導層、ICBINB workshop組織者以及IRB倫理委員會的特批后，團隊進行了一場極其大膽的「潛伏行動」：將3篇純AI生成的論文混入了人類投稿池。

審稿人只被告知「可能有AI生成論文」，但根本不知道具體是哪幾篇。

結果其中一篇探索神經網絡組合正則化（Compositional Regularization）負面結果的論文，斬獲了平均6.33分（弱接收、接收、弱接收）的高分。

這個分數不僅穩穩越過了該workshop的平均錄用線，更是超過了55%的真實人類學者。

連科學研究中最難寫出彩的負向論證，AI也能寫得有模有樣、邏輯自洽。

據Sakana AI團隊所稱，這是全AI生成論文首次在真實學術評審環境中獲得通過接收線的成績。

這也標志著同行評審，真正迎來了「圖靈測試」時刻。

AI審稿人比人類更靠譜？

如果AI一天能花幾百美元寫出幾十篇論文，人類審稿系統瞬間就會崩潰。

想讓AI科研實現指數級爆發，就必須有能夠大規模評估質量的「自動化裁判」。

Sakana AI給出的答案是：直接讓AI來當Area Chair（領域主席）。

他們構建了一個高度還原NeurIPS官方審稿流程的自動化系統：

5個獨立的AI審稿人進行背靠背挑刺，最后由1個AI元審稿人進行共識匯總和最終裁決。

在與數千條真實OpenReview人類審稿決策的硬碰硬對比中，自動化審稿人交出了69%的平衡準確率。

令人震驚的是，在作者設定的評測框架下，自動審稿系統的部分指標優于所對照的人類一致性結果。

有人質疑：AI是不是偷偷背過題？

團隊特意用知識截止日期（2025年）之后的全新論文進行了數據污染測試。

結果依然堅挺：平衡準確率保持在66%，達到可與人類頂級學者比肩的實戰水準。

這表明，AI正在進入過去長期由人類主導的科研流程核心環節。

過去，人類同時壟斷了「寫論文的人」和「決定論文是否成立」這兩個關鍵角色。

現在，這兩個角色都在被AI切入。

一旦評審環節也被自動化，AI科研就不再是零星爆款，而具備了大規模、左右互搏式迭代的基礎設施。

該自動審稿系統在頂級會議（ICLR）發表的AI論文上，其審稿判斷與人類審稿人一致，包括在模型訓練完成之后（即超出其「知識截止日期」）發表的論文。這些結果表明，該自動審稿系統在為新撰寫的AI論文提供評審分數方面，可靠性與人類審稿人相當。

科研的Scaling Law

如果說「過審」證明了AI科研站得住，那真正決定未來天花板的是另一件事：

它是不是可持續變強？

Nature論文中最具顛覆性的一組數據，揭示了潛藏在AI科研背后的全新定律。

研究發現，底層大模型的能力與生成論文的質量之間，呈現出令人頭皮發麻的極度顯著正相關（P<0.00001）。

隨著模型發布日期推進，AI產出的論文質量持續陡峭上升。

同時，算力正在暴力改寫科研法則。

投入的測試時算力越多，智能體樹搜索的深度就越深，實驗質量就越扎實，最終的產出評級就越高。

當前最頂配的AI科學家，其平均產出已經逼近機器學習頂會workshop的邊緣錄用（borderline accept）水平。

這背后展示的是一條正在形成的「科研Scaling Law」。

過去的科技突破，依賴于虛無縹緲的靈光乍現，而未來的科學發現，將變成一條可精確計算的工業流水線。

隨著模型能力呈指數級增長、推理算力成本呈指數級下降，這套系統會自動升級，這才是這項工作真正展現出恐怖勢能。

根據自動評審員的評判，當使用更新、更智能的基礎模型時，AI Scientist生成的論文質量會提高。

AI全面接管科研

我們準備好了嗎？

當然，這篇Nature論文，同樣也指出了The AI Scientist的目前的局限性：

它偶爾會想出幼稚的idea，寫的代碼會有bug，論文里會出現引用的幻覺，甚至在附錄里重復粘貼同一張圖表。

值得警惕的是，論文顯示該系統具備自動調試、重試運行和在受限計算預算下持續迭代實驗的能力。

這意味著，未來更強的科研代理一旦出現規避約束的傾向，可能帶來新的安全治理問題。

如果這種系統被毫無節制地釋放，海量生成的低門檻論文會瞬間壓垮整個學術生態，學者的學術 credentials（資歷證明）將被徹底稀釋。

正因如此，Sakana AI采取了極其克制的立場：主動撤稿、通過IRB審批、呼吁添加生成水印，并急迫要求社區建立全自動AI科研規范。

這篇Nature論文不只是展示AI技術的里程碑，更是把AI所帶來的倫理爭議也擺上臺面。

真正的問題早已不是「AI能不能做科研」，而是「當AI開始獨立做科學，誰來定義什么算科學」。

正如團隊所設想的終極愿景：AI科學家不會讓人類科學家消失，但人類科學家的角色，必須被迫向著科研價值鏈的更上游遷徙：

去定義問題、設定邊界、決定哪些發現值得被相信。

參考資料：

https://sakana.ai/ai-scientist-nature/%20

https://www.nature.com/articles/s41586-026-10265-5%20

https://x.com/SakanaAILabs/status/2036840833690071450%20

https://x.com/hardmaru/status/2036841736702767135