有損自我改進（Lossy Self-Improvement）

為什么自我改進是現實存在的，但它不會導致 AI 的“瞬間起飛”。

作者：Nathan Lambert 2026年3月23日

如今，在AI圈子里，“快速起飛”（Fast Takeoff）、“技術奇點”以及“遞歸自我改進”（RSI）是每個人都在關注的話題。在當前的AI產業中，這些概念確實包含著真實的成分：兩三家實驗室正整合成為擁有最強模型（以及構建下一個模型所需資源）的寡頭；當今的AI工具正在突發性地改變工程和研究崗位。

在許多方面，AI研究正變得容易得多。雖然進一步擴大語言模型訓練規模所需的技能挑戰依然巨大，但能夠處理這些問題的“超人級”編程助手的出現，打破了許多關于“構建這些東西需要什么”的舊主張。這一切正為我們在AI前沿領域迎來一年（或更久）的飛速進步奠定基礎。

我們也正處于語言模型已經極其出色的時代。事實上，它們已經足以勝任大量極具價值的知識工作。很難想象語言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行（CLI）的計算機操作之外，它們今年還能掌握哪些任務。當然，會有一些新突破！這些能力將開啟新的工作模式，并給經濟帶來更多漣漪。

這些劇烈的變化幾乎讓人覺得，語言模型能靠自己不斷加速進步是一個理所當然的結論。這種說法的通俗表達是“遞歸自我改進循環”（RSI Loop）。關于這個話題的早期探討可以追溯到2000年代，比如2008年的一篇博文：

“當你把‘重新設計你自己的認知算法’這個對象級問題交給AI時，遞歸就發生了。”

稍早一點，在 2007 年，尤德科夫斯基（Yudkowsky）也在《通用智能的組織層級》中定義了相關的“種子AI”（Seed AI）概念：

“種子AI是專為自我理解、自我修改和遞歸自我改進而設計的AI?！N子 AI 的后期后果（如真正的遞歸自我改進）只有在AI實現了顯著的整體理解和通用智能之后才會顯現。”

考慮到當今模型的通用性和實用性，認為我們正處于這個階段的起點是合理的。

通常，遞歸自我改進（RSI）可以總結為：當AI能改進自身時，改進后的版本能更高效地進行下一次改進，從而創建一個封閉的放大循環，導致“智能爆炸”，即所謂的奇點。這其中包含幾個假設。RSI要發生，必須滿足：

1. 循環是封閉的： 模型能不斷改進自身并孕育出下一代模型。
2. 循環是自我放大的： 下一代模型能比當前模型產生更大的進步。
3. 循環持續運行且不損失效率： 不存在增加的摩擦力使指數級增長提前變成“S型曲線”（Sigmoid）。

雖然我同意未來幾年持續的AI進步將帶來重大的、社會不穩定的變化，但我預計，當我們回過頭來看時，進步的趨勢線將更接近線性而非指數級。我認為，發生的將不是遞歸自我改進，而是“有損自我改進”（Lossy Self-Improvement, LSI）——模型成為了開發循環的核心，但各種摩擦力打破了RSI的所有核心假設。你投入的算力和智能體越多，出現的損耗和重復就越多。

我依然相信，先進系統的“復雜性制動器”（Complexity Brake）將是一個強大的抗衡力量，抵消模型在各項細分任務上變強的事實。我在2025年4月曾引用過這個觀點：

微軟聯合創始人保羅·艾倫提出了“復雜性制動器”理論：科學越接近理解智能，取得額外進展就越困難。對專利數量的研究顯示，人類的創造力并沒有表現出加速回報，事實上，如約瑟夫·泰恩特在《復雜社會的崩潰》中所述，它呈現出收益遞減規律。復雜性的增長最終會自我限制，并導致廣泛的“通用系統崩潰”。

在現有的模型訓練方式、模型所需的深層直覺以及構建模型的組織中，有大量例子顯示損耗來自何處。構建領先的語言模型極其復雜，而且正變得越來越復雜。我認為核心摩擦力有以下三點：

1. 可自動化的研究過于狹隘

首先，很明顯，今年的語言模型已經可以作為工具，在優化局部任務（如降低模型的測試損失值）方面大顯身手。安德烈·卡帕斯（Andrey Karpathy）最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作，目標是降低測試集上的損失。

這種方法在狹窄領域（如單一的測試損失或整體獎勵）有效。問題在于，“賬面上更精確的模型”與“用戶覺得更有生產力的模型”之間長期存在鴻溝。 縮放法則（Scaling Laws）顯示損失會持續下降，但我們不知道這是否會在經濟上產生更大價值。

在后期訓練（Post-training）中，強化學習算法至少與特定性能增益聯系得更緊密。但我依然擔心其泛化能力，以及它是否能真正轉化為“擅長構建自身和設計實驗”的模型。我們已經看到許多 AI 能力在人類品味的某些水平上趨于飽和，比如寫作質量。AI研究雖然不同（天花板更高），但模型會因搜索空間和優化目標過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴展的想法協同工作，而不僅僅是優化單一指標。

2. 并行AI智能體的收益遞減

AI快速進步面臨的最大問題是：即使我們在數據中心擁有 10,000 名遠程“AI員工”，也幾乎不可能將他們全部集中在一個問題上。本質上，當模型仍然非常相似時，它們是從相同的解空間和能力分布中進行采樣，同時受到人類監督的瓶頸限制。增加更多智能體，在邊際性能提升上會遇到嚴格的飽和點——少數最頂尖研究員的直覺（以及運行實驗的時間）將是最終的瓶頸。

這里可以用阿姆達爾定律（Amdahl’s Law）來類比：一項任務能產生的加速，取決于有多少部分可以并行化。想象一個研究員從親手寫代碼，到使用AI自動補全，再到使用自主編碼智能體。這些都是巨大的飛躍。但現在，如果讓一個研究員每天嘗試組織30-40個智能體工作呢？有些人能從中榨取價值，但不多。你能想象有人每天能為AI智能體想出300-400個任務嗎？沒多少人能做到。這個問題很快也會撞上AI模型的瓶頸。

3. 資源瓶頸與政治博弈

從根本上說，所有AI公司都在走鋼絲：獲取巨額資本、將算力轉化為收入、同時在研發上投入天文數字。由于資源規模如此巨大，資源分配和押注目標上總會存在政治瓶頸。即便模型持續改進，這種摩擦力也永遠不會消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運行的。百億美元規模的研發算力不太可能完全孤立出來，交給AI模型進行端到端的自由實驗。

結論

我們的工作確實正變得節奏更快、效率更高。問題在于，所有這些維度都有明確的人類、政治或技術復雜性瓶頸。

每一條S型曲線的底部看起來都像指數級增長。2026年會感覺像是一大步，但并沒有根本性的變化讓我相信進步會從此“一飛沖天”。這可能會跨越所謂的AGI門檻（即能夠替代大多數遠程辦公者），但這更多是改變了工作的定義。

我們正處于“有損自我改進”（LSI）時代。AI模型正在執行自我改進，但它們并沒有改變方法論。我們正在擴大研發實踐和工具的算力投入，但收益在遞減。智能體將成為我們共事的自主實體，它們感覺像是天才與5歲小孩的混合體。這種“有損”的進步足以讓行業超速運轉，但不足以支撐一場瞬間爆發的智能爆炸。

本文編譯自substack，原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266