論文推薦 | 自我完善的AI：AI與人類以更安全的共同超級智能（Co-Superintelligence）為目標的共同自我完善

*機器翻譯最新論文，Meta團隊關于超級AI的最新討論，作者JasonWeston和Jakob Foerster。感謝邱德鈞教授推薦

自我完善是當前人工智能領域令人振奮的目標，但充滿風險且可能需要時間才能完全實現。我們主張，對人類而言更可實現且更優的目標是最大化協同完善：即人類研究者與人工智能協作，共同達成超智能。具體而言，這意味著著力提升人工智能系統與人類研究者協同開展人工智能研究的能力——從構思到實驗全程合作，既能加速人工智能研究進程，又能通過人機共生關系為雙方賦予更安全的超級智能。將人類研究改進納入閉環系統，既能加速目標達成，又能確保過程安全。

1.自我完善AI的目標

自誕生以來，能夠自我改進的人工智能始終是該領域的主要目標[1]。歷史上，實際應用主要聚焦于通過權重參數化模型，并尋找最佳權重組合——從線性模型到神經網絡，整個過程均無需人工干預。2010年代開啟了模型規模持續擴大的時代[2]，雖然性能顯著提升，但自我改進仍僅限于權重優化，而架構、數據、目標函數、更新規則及實現（代碼）基本固定不變。當前時代將自我優化探索擴展至全方位學習改進：模型能自主生成訓練數據[3]、通過自我挑戰提升性能[4,5]，并學會根據任務表現自我評估與獎勵[6,7,8]；詳見表2。其中部分維度已顯著提升性能，合成數據生成與大型語言模型作為評判者等方法已成為前沿模型的標準構建模塊。而追求能夠自我優化架構、重寫自身代碼的人工智能仍處于萌芽階段[9,10]，但早期跡象顯示其潛力巨大，當前自主人工智能研究代理的推進便是明證[11,12,13,14]。

如今顯然，我們正朝著日益智能的人工智能系統邁進，從長遠來看，這些系統將在所有任務指標上大幅超越人類。完全實現自我改進無疑是終極標志。然而，若在系統中未嵌入適當的引導機制就賦予人工智能這種自主能力，將給人類帶來巨大風險——從濫用到目標錯位[15]。盡管如此，在人工智能全面超越人類之前，我們仍有時間，尤其是在人工智能研究領域。因此我們建議，更應聚焦于人類與人工智能協同解決這些問題。

2.人類更好的目標：共同自我完善AI（co-improving AI）

我們的核心觀點是：“解決人工智能”的進程可通過構建與人類協作解決人工智能問題的人工智能來加速。這有別于自我改進型人工智能的目標——后者旨在盡快將人類排除在決策循環之外，讓人工智能自主開展研究與學習。相反，我們倡導“協同改進”模式：構建協作型人工智能代理，使其與人類共同開展研究。由此，我們通過研究本身來加速研究進程。關鍵在于，人類參與決策鏈使我們能夠引導研究走向正確方向——即“解決人工智能”意味著為人類創造積極解決方案。我們尤其認為，這種積極解決方案應體現在人工智能在社會各領域增強人類能力、賦能人類，而非追求徹底自動化以取代人類決策。

盡管當前大部分人工智能研究仍由人類主導，但我們預期隨著時間推移，這種負擔將逐漸分擔——隨著人工智能的進步，它能與我們協同工作，承擔更多提供解決方案的工作量。這種協作能充分發揮人類與人工智能互補的技能優勢，二者目前在不同領域各具專長，而我們預計人工智能將在更多維度持續超越人類。然而，由于人工智能尚未成熟到能夠完全自我改進，且容易出現目標錯位，我們認為協同改進能讓我們更快、更安全地實現目標。也就是說，在人工智能的幫助下，我們更有可能解決人工智能的能力和安全問題——但前提是人類始終參與其中，共同開展研究。因此，協同改進有助于為人類帶來積極成果。

難道我們不是已經在這么做了嗎？通往超級智能的道路存在多種可能性，當前的人工智能系統已在某種程度上協助我們探索這些研究方向，例如通過代碼輔助和寫作輔助功能。總體而言，提升前沿模型的整體能力確實能使其具備部分適合科研協作的技能——這屬于附帶效果。然而我們通常發現，當技能得到針對性訓練時會進一步提升。例如大量投入提升AI編程能力后，其編程水平確實有所提高。但編程問題同樣尚未解決[16]，而“解決”AI問題遠不止于此。我們的核心觀點是：若投入更多開發資源賦予AI進行AI研究協作的能力，這些能力同樣會得到提升。

我們能獲得什么？人工智能的進步源于訓練數據與方法變革的雙重驅動——從架構到訓練目標的變革，這些進步往往協同作用，引發顯著的范式轉變。例如：創建ImageNet并引入AlexNet[33, 34]、整理網絡數據并擴展變換器模型[35, 34, 37]、標注指令遵循數據并構建RLHF訓練[38, 39, 40]、收集可驗證推理任務并運用RLVR訓練思維鏈模型 [41, 42, 43, 25]。每項突破都凝聚了人類研究者巨大的付出，伴隨著無數細微的中間成果、錯誤方向與探索死胡同。任何提升研究效率的手段都將加速這一進程。因此，與強大的人工智能系統開展協同研究，必將加速發現當前尚未顯現的未知范式變革。

總體而言，我們預期協同改進能帶來以下優勢：(i) 加速發現重要范式轉變的進程；(ii) 相較于直接自我改進，在推進過程中提供更高透明度與可控性；(iii) 更聚焦于以人為本的安全人工智能。例如，我們或許能開發出在機器學習理論領域超越人類的系統，從而實現可驗證安全的人工智能。相比之下，完全自主的人工智能自我改進系統可能存在目標誤設問題（例如其對“解決人工智能問題”的定義未考慮人類需求）。

我們如何實現？為構建能與我們協同開展研究的人工智能，我們應將部分精力聚焦于培養具備這些技能的AI。這意味著需要通過新基準測試來衡量AI的研究協作能力，并構建能提升這些基準的訓練數據與方法——正如我們培養其他技能時所做的那樣。這些技能應覆蓋端到端研究流程中的所有核心AI研究活動。我們在表1中定義了若干核心技能，包括：協同識別研究問題、創建訓練數據與基準測試、創新方法論、設計并執行實驗、開展評估與錯誤分析（并將結果反饋至整個流程優化）。同樣重要的目標還包括：安全與對齊機制的協同設計與開發、系統改進、創新成果向實際應用場景的轉化，以及科學傳播。關鍵區別在于：與近期提出的端到端人工智能科學家方法[11, 14]不同，本研究旨在提升研究質量，而非通過全自動化加速產出研究成果（如論文）。

從協同改進到協同超智能我們設想協同改進的首要目標是提升我們研究改進人工智能的能力。我們預期成功時的最終結果——如同自我改進范式那樣——將是一個具備自我改進能力的超智能系統。然而不同之處在于：當人類在每個循環步驟中協同AI系統推進時，我們擁有更多機會引導該進程產生積極的人類效益。尤其可關注安全與社會危害（詳見后文），并在每個階段提升人類集體知識儲備。

展望未來，我們進一步設想協同進化的目標將從構建參與AI研究的協作AI，轉向在各類研究或關乎人類的重要議題上實現協同進化。隨著AI能力不斷提升，這些新技能有望變得更易掌握。從人類社會角度看，構建AI能幫助人類提升自身能力、知識儲備及生存境遇。因此我們可聚焦于實現這些目標的人工智能建設。我們將超越人類現有能力的AI賦能稱為協同智能，強調人工智能能為人類創造的價值。

協同改進與社會危害及效益隨著能力提升，潛在危害亦可能增加。當前存在諸多危害源于模型能力不足，例如越獄現象[44]的發生，正是因為模型未能“理解”自身已被越獄。與人工智能協作可助力尋找研究解決方案——解決它們自身的問題！——即發現并實施新能力，從而打造更安全的模型、建立新安全流程，并共同制定價值觀、約束機制和治理框架。這種樂觀觀點認為，若操作得當，人工智能增強的能力反而能減少危害。

隨著人工智能能力提升，還存在樂觀機遇可協助解決其自身影響之外的諸多社會問題。相較于自我進化的超級智能反烏托邦范式——即人工智能統治者向人類強加最佳實踐——協同進化范式主張通過合作達成共識，尋找可操作的解決方案。人類與人工智能的多方協作有助于整合觀點、結構化辯論，并推動人類達成積極結論與成果。

協同改進與開放性若人類欲提升科學認知，最明晰的途徑便是運用科學方法。這意味著開展可復現的科學研究，公開傳播研究成果，使他人得以驗證或在此基礎上推進，從而促進集體知識進步。協同改進能加速這一進程，無論在人工智能領域還是其他科學領域皆然。我們注意到當前多家工業實驗室正逐漸遠離開放式人工智能研究。正如[45]所述，我們認同“不應以濫用擔憂為借口過度限制開放性——尤其當真實動機涉及企業競爭優勢時”。然而在人工智能領域，正如其他科學領域，我們認為應考慮實施管控式開放機制，以在必要時防范社會危害[45]。隨著技術能力的提升，這應成為持續探討的議題。

3.與其他現狀的關系

相關立場我們的立場與關于以人為本的人工智能的論述相關[46, 47, 48, 49]，但更具體地指向通過協作研究實現（協同）超智能的目標。類似地，[50]的研究倡導合作型人工智能，主張與機器建立共同基礎，其中研究將成為特殊案例。盡管如此，我們認同在超人類AI出現后，探索各類人機協作模式仍是未來人類社會的關鍵目標。另有研究強調目標錯位是重大挑戰，主張AI目標必須以人類為導向[51]。關鍵在于，我們主張這一艱巨課題能夠且應當通過協作解決。例如，與人工智能的協作可能更易于發現其自身設計缺陷；但我們認為此類研究應當立即展開——而非等到系統全面部署后才倉促補救，屆時為時已晚。

對立觀點諸多研究探討了自主自我改進及其實現途徑，例如[9, 52, 53, 54, 55]。相應地，大量研究也開發了具有不同技術貢獻的實際實例，詳見表2所示案例。

[54]的作者們倡導進入“體驗時代”，其中自我完善通過人工智能自主學習自身經驗實現。這意味著與人類的協作將大幅減少——例如他們指出人工智能將“在材料科學、醫學或硬件設計等領域自主設計并開展實驗”。他們同時承認這“減少了人類干預和調解智能體行動的機會，因此需要極高的信任與責任門檻”。另有觀點認為當自我進化目標達成后人類將無足輕重，例如[56]指出："……人工智能將殖民銀河系。人類雖不會扮演重要角色，但這無妨。我們應當為參與這場超越人類的宏大進程而自豪。"

與此相對，我們構想的世界是：人類始終作為不可或缺的組成部分——雖經最大程度增強——參與經濟、科學乃至所有決策流程。我們堅信人工智能界應在追求長期目標的過程中，全面擁抱并踐行這一愿景。

4.結論

我們認為現有自主自我改進人工智能的目標存在誤導性，原因有二：這既非實現超級智能的最快途徑，亦非最安全的途徑。我們主張采取協同改進模式：由人類研究者專注構建協作型人工智能，尤其要使其協助我們開展研究——借助其力量，推動人工智能持續提升協作能力、增強效能并保障安全性。實現這一目標后，未來便能創造出極具能力的AI，它們將與人類攜手解決關乎全人類的重要目標與社會難題。