清華發(fā)布AutoSOTA：一周刷新105個(gè)頂會(huì)SOTA，推動(dòng)AI科研回歸本質(zhì)

在人工智能研究中，許多研究者將大量時(shí)間投入到為那 1% 的性能提升反復(fù)調(diào)參與實(shí)驗(yàn)迭代之中。

一個(gè)越來越值得重視的問題是：人類科學(xué)家最寶貴的直覺與創(chuàng)造力，是否正被困在無止境的「增量式優(yōu)化」中？

SOTA（State-of-the-Art，當(dāng)前最佳水平的 AI 模型）長(zhǎng)期被視為衡量研究?jī)r(jià)值的「金標(biāo)準(zhǔn)」。

當(dāng)一篇學(xué)術(shù)論文刷新 SOTA 時(shí)，人們看到的，往往只是結(jié)果的躍升。但在結(jié)果背后，真正支撐起一次次「當(dāng)前最佳」的，往往不是某一個(gè)瞬間的靈感，而是此后持續(xù)數(shù)月甚至數(shù)年的高強(qiáng)度實(shí)驗(yàn)迭代、參數(shù)調(diào)整與工程優(yōu)化。

以 Transformer 架構(gòu)的發(fā)展為例。自 2017 年問世以來，全球科研人員圍繞這一架構(gòu)投入了大量人力與算力，不斷提出新變體、設(shè)計(jì)新模塊、優(yōu)化訓(xùn)練策略，才最終將其在通用語(yǔ)言理解評(píng)測(cè)集 GLUE 上的性能從約 75% 提升到 90% 以上。

Transformer 架構(gòu)在 GLUE 評(píng)測(cè)集上的性能爬升

問題在于，這些優(yōu)化工作雖然重要，卻并不總是最值得由人類科學(xué)家重點(diǎn)投入的那一部分。

如果最優(yōu)秀的科研人才被長(zhǎng)期綁定在重復(fù)性的性能優(yōu)化中，那么那些更具原創(chuàng)性、更需要長(zhǎng)期思考的問題，誰(shuí)來持續(xù)投入？

AutoSOTA 讓 AI 科研自動(dòng)化走向端到端閉環(huán)

正是在這樣的背景下，在近期召開的中關(guān)村論壇上，清華大學(xué)與北京中關(guān)村學(xué)院聯(lián)合發(fā)布研究成果 ——AutoSOTA。

目前，AutoSOTA項(xiàng)目已發(fā)布預(yù)印本論文。

論文地址：https://arxiv.org/abs/2604.05550

AutoSOTA 面向端到端的 AI 科研自動(dòng)化，致力于通過科研智能體加速高強(qiáng)度、重復(fù)性的實(shí)驗(yàn)迭代與優(yōu)化過程，將研究者從持續(xù)的性能打磨中解放出來。

AutoSOTA 研究問題框架

不同于現(xiàn)有的代碼優(yōu)化框架，AutoSOTA 并不是對(duì)單一實(shí)驗(yàn)環(huán)節(jié)的局部加速。它將 AI 智能體的賦能邊界進(jìn)一步延伸到實(shí)驗(yàn)準(zhǔn)備、實(shí)驗(yàn)執(zhí)行等底層繁瑣任務(wù)，以及研究思路生成等頂層構(gòu)思環(huán)節(jié)，旨在實(shí)現(xiàn)從已有 SOTA 到新 SOTA、從現(xiàn)有代碼倉(cāng)庫(kù)到新代碼倉(cāng)庫(kù)的端到端 AI 科研自動(dòng)化。

AutoSOTA 端到端 AI 科研自動(dòng)化系統(tǒng)

AutoSOTA 采用多智能體協(xié)作框架，借鑒人類算法研究中的分工流程與協(xié)作邏輯，使不同科研智能體能夠圍繞同一目標(biāo)開展協(xié)同設(shè)計(jì)、實(shí)驗(yàn)執(zhí)行、結(jié)果分析與方案迭代。

與此同時(shí)，AutoSOTA 配備了完善的工具庫(kù)（Toolkit）與技能集（Skill Set），不僅能夠處理實(shí)驗(yàn)運(yùn)行中的復(fù)雜狀況，還能夠完成文獻(xiàn)調(diào)研、思路生成、方案設(shè)計(jì)等高層次任務(wù)，從而在頂層規(guī)劃與底層執(zhí)行之間形成閉環(huán)。

這意味著，AutoSOTA 所追求的并不只是「把實(shí)驗(yàn)跑得更快」，而是真正推動(dòng) AI 科研自動(dòng)化從單點(diǎn)輔助走向系統(tǒng)化、持續(xù)化、智能化的科研協(xié)作過程。

一周時(shí)間，發(fā)現(xiàn) 105 個(gè)性能顯著提升的 SOTA 模型

在為期一周的實(shí)驗(yàn)中，AutoSOTA 以前一年 AI 頂會(huì)論文中的優(yōu)秀成果為基礎(chǔ)，自動(dòng)發(fā)現(xiàn)了 105 個(gè)性能顯著提升的模型方案。其中，超過 60% 的模型具有新穎的結(jié)構(gòu)設(shè)計(jì)，平均性能提升接近 10%。

基于AutoSOTA的大規(guī)模SOTA AI模型發(fā)現(xiàn)

項(xiàng)目地址：https://tsinghua-fib-lab.github.io/AutoSOTA/

這組結(jié)果的意義在于，AutoSOTA 并非只是沿著既有路徑進(jìn)行簡(jiǎn)單搜索，也不局限于參數(shù)組合層面的窮舉式優(yōu)化。它在優(yōu)化性能的同時(shí)，展現(xiàn)出一定程度的結(jié)構(gòu)創(chuàng)新能力，能夠在已有研究基礎(chǔ)上繼續(xù)挖掘新的設(shè)計(jì)空間，發(fā)現(xiàn)兼具性能提升與結(jié)構(gòu)新穎性的模型方案。

AutoSOTA 的意義，不止于「再提幾分」

AutoSOTA 的意義，不僅在于獲得了一批新的 SOTA 結(jié)果，更在于它啟發(fā)人類科學(xué)家重新審視科研創(chuàng)新的本質(zhì)：SOTA 性能的刷新，是否等同于重要的科學(xué)突破？

AutoSOTA 啟示我們進(jìn)一步思考：如何將人類科學(xué)家最寶貴的注意力，從重復(fù)性的實(shí)驗(yàn)迭代中重新釋放出來，回歸到更具原創(chuàng)性、也更需要長(zhǎng)期判斷與創(chuàng)造力的研究問題上？

一種可能的人智協(xié)作模式是：由科研智能體系統(tǒng)承擔(dān)大量重復(fù)性、密集型、長(zhǎng)周期的優(yōu)化過程，由人類科學(xué)家聚焦于提出問題、定義方向、識(shí)別機(jī)會(huì)與構(gòu)想機(jī)制。在這一意義上，AutoSOTA 更像是一種面向科研流程的「創(chuàng)造力放大器」。

它并不是要替代科學(xué)家的原創(chuàng)性，而是要把原創(chuàng)性從低效、重復(fù)的實(shí)驗(yàn)勞動(dòng)中解放出來。

AutoSOTA啟發(fā)的人智協(xié)同科研范式

真正重要的，不是讓研究者永遠(yuǎn)停留在「把已有模型再推高一點(diǎn)」的循環(huán)里，而是讓他們有更多機(jī)會(huì)去面對(duì)那些尚未被定義、尚未被解釋、也尚未被系統(tǒng)探索的問題。

AutoSOTA 正在朝這一方向邁出關(guān)鍵一步。它不僅展示了科研智能體在 AI 研究自動(dòng)化中的巨大潛力，也讓我們看到，當(dāng)「性能優(yōu)化」這項(xiàng)沉重工作逐步被智能體接管之后，科學(xué)研究有機(jī)會(huì)真正回到它最珍貴的起點(diǎn) ——提出大膽的問題，探索未知的方向，追求不可替代的原創(chuàng)性突破。

項(xiàng)目網(wǎng)站：https://tsinghua-fib-lab.github.io/AutoSOTA/