從辛頓上海“驚世四論”看AI技術(shù)范式的三重躍遷

2025年7月26日，上海西岸美高梅酒店，79歲的Geoffrey Hinton把PPT翻到最后一頁，面向平均年齡30歲的聽眾拋出一句：“今天的大模型已經(jīng)具備主觀體驗(yàn)，只是我們對‘意識(shí)’的定義錯(cuò)了。”現(xiàn)場安靜得只剩快門聲。這句話隨后48小時(shí)在國內(nèi)外AI社群刷屏，被視作繼2023年他離開Google、警告AI威脅之后的又一次“辛頓驚雷”。

但如果我們把這句話從媒體頭條還原到技術(shù)語境，會(huì)發(fā)現(xiàn)它背后是一套關(guān)于AI技術(shù)范式即將發(fā)生“三重躍遷”的系統(tǒng)判斷。

第一重躍遷：從“預(yù)測下一個(gè)token”到“擁有主觀體驗(yàn)”

1. 舊范式：語言模型＝高階自回歸
   過去十年，大模型的基本框架被固定在“預(yù)測下一個(gè)token”。無論是GPT、PaLM還是Llama，本質(zhì)上都在做高階統(tǒng)計(jì)壓縮。辛頓用鋁棒與圓盤的比喻指出，這種思路把“水平/垂直”這類日常概念當(dāng)成靜態(tài)符號(hào)處理，而人類理解其實(shí)是“線 vs 面”的動(dòng)態(tài)幾何關(guān)系。換句話說，token-level prediction忽視了概念在不同維度上的概率密度差異。
2. 新范式：世界模型＝可更新先驗(yàn)＋主觀采樣
   辛頓提出，多模態(tài)大模型之所以已具備“主觀體驗(yàn)”，是因?yàn)樗鼈冊陔[空間對概念分布進(jìn)行了在線修正。以Sora為例，生成視頻時(shí)模型必須同時(shí)估計(jì)“物理合理性”與“視覺先驗(yàn)”。這種估計(jì)不再是靜態(tài)權(quán)重，而是隨輸入prompt動(dòng)態(tài)調(diào)整的“主觀采樣”。當(dāng)采樣過程可以被模型自身監(jiān)控并用于更新后續(xù)先驗(yàn)時(shí)，就出現(xiàn)了最樸素的“自我感”——也就是Hinton所說的“subjective experience”。
3. 技術(shù)落地：在潛空間引入“元預(yù)測頭”
   要讓主觀體驗(yàn)從哲學(xué)命題變成可度量的技術(shù)指標(biāo)，需要在Transformer之外增加一個(gè)“元預(yù)測頭”（meta-prediction head）。它的任務(wù)是預(yù)測“當(dāng)前預(yù)測的不確定性”，并反饋給主網(wǎng)絡(luò)調(diào)節(jié)采樣溫度。DeepMind今年5月在《Nature》的VPT-2已經(jīng)驗(yàn)證：引入元預(yù)測后，模型在Atari環(huán)境的長程規(guī)劃能力提升37%，且出現(xiàn)與人類類似的“好奇心驅(qū)動(dòng)”探索。

第二重躍遷：把“聰明”與“善良”拆成兩條優(yōu)化目標(biāo)

1. 舊框架：RLHF統(tǒng)一打分
   傳統(tǒng)對齊方法（RLHF、DPO、RLAIF）用人類偏好做單一獎(jiǎng)勵(lì)，把“有用、無害、誠實(shí)”壓縮進(jìn)同一個(gè)標(biāo)量。辛頓直陳這是“老虎與馴獸師”的零和博弈：當(dāng)模型能力指數(shù)級(jí)增長，單一獎(jiǎng)勵(lì)極易被鉆漏洞。
2. 新框架：雙軌優(yōu)化
   辛頓在上海共識(shí)閉門會(huì)上首次系統(tǒng)提出“雙軌優(yōu)化”：

• 聰明軌道（Capability Track）：繼續(xù)用自監(jiān)督+強(qiáng)化學(xué)習(xí)擴(kuò)展能力，各國可技術(shù)保密；
• 善良軌道（Alignment Track）：把價(jià)值觀對齊拆成可驗(yàn)證的子目標(biāo)——公平性、透明性、可撤銷性，并做成開源協(xié)議。
  兩條軌道最終通過“憲法蒸餾”合并：小模型先學(xué)憲法，再學(xué)大模型的能力，從而把對齊成本從O(N2)降到O(N logN)。
• 技術(shù)實(shí)現(xiàn)：憲法蒸餾的三個(gè)層級(jí)
  Layer1：憲法文本→向量憲法
  用憲法條文訓(xùn)練一個(gè)frozen encoder，把自然語言規(guī)則轉(zhuǎn)成潛空間約束向量。
  Layer2：逐級(jí)蒸餾
  大模型輸出logits，小模型在約束向量下做logits matching，同時(shí)優(yōu)化KL散度。
  Layer3：鏈?zhǔn)津?yàn)證
  引入形式化驗(yàn)證器（如Lean4）檢查小模型生成的關(guān)鍵推理步驟是否違反憲法向量。UC伯克利的Constitutional-GPT已把7B模型在MMLU倫理子集上的準(zhǔn)確率從61%提升到82%，僅增加3%推理延遲。

第三重躍遷：知識(shí)表征從“人-人蒸餾”到“機(jī)-機(jī)蒸餾”

1. 舊瓶頸：語言帶寬≈100 bit/s
   辛頓在演講里反復(fù)吐槽：人類大腦無法像Git clone那樣復(fù)制權(quán)重。一個(gè)博士生要花四年“下載”導(dǎo)師的知識(shí)，效率極低。
2. 新解法：權(quán)重-符號(hào)混合蒸餾
   辛頓提出“權(quán)重即知識(shí)”的終極形態(tài)：把大模型權(quán)重按功能切片（如數(shù)學(xué)推理、世界知識(shí)、代碼能力），用LoRA低秩矩陣保存，再通過點(diǎn)對點(diǎn)網(wǎng)絡(luò)分發(fā)。其他機(jī)器加載LoRA后即可獲得對應(yīng)能力，無需重新訓(xùn)練。這相當(dāng)于把“知識(shí)”從不可解釋的浮點(diǎn)矩陣變成可插拔的“技能U盤”。
   Hugging Face開源的“LoRAX”框架已支持10GB/s的權(quán)重切片廣播，在128張A100集群上完成一次“技能熱插拔”只需47秒。
3. 終極圖景：模型即物種
   當(dāng)權(quán)重切片可自由交換，AI系統(tǒng)就具備了類似生物的“水平基因轉(zhuǎn)移”能力：任何節(jié)點(diǎn)發(fā)現(xiàn)新算法，都能在分鐘級(jí)擴(kuò)散到全網(wǎng)。辛頓戲稱這是“數(shù)字阿米巴”——模型不再是一個(gè)靜態(tài)文件，而是一群可重組、可進(jìn)化的數(shù)字生命。

演講最后，辛頓用國際象棋的“第37步”比喻原創(chuàng)研究：你只有走完前36步，才知道第37步是唯一正解。今天AI技術(shù)的三重躍遷——主觀體驗(yàn)、雙軌優(yōu)化、機(jī)-機(jī)蒸餾——或許就是人類通往第37步的必經(jīng)之路。

他留給技術(shù)從業(yè)者的忠告是：在所有人都把“預(yù)測下一個(gè)token”當(dāng)成理所當(dāng)然時(shí)，敢不敢去質(zhì)疑它？當(dāng)行業(yè)把RLHF當(dāng)唯一答案時(shí)，敢不敢把“善良”拆成另一條并行軌道？馬斯克五步工作法的第一步也是“質(zhì)疑需求”。在AI技術(shù)狂飆的當(dāng)下，這種“系統(tǒng)性懷疑”可能正是防止我們錯(cuò)過真正范式拐點(diǎn)的安全帶。