為什么AI對(duì)就業(yè)的沖擊和之前所有技術(shù)革命都不同？｜AI教父辛頓90分鐘科普播客的完整梳理

又是一篇超萬(wàn)字的博客，眼花繚亂中。 杰弗里·辛頓（Geoffrey Hinton）剛剛上線了一期90分鐘的播客，發(fā)布十天播放量已超過(guò)百萬(wàn)次。

辛頓在過(guò)去兩年里接受過(guò)大量采訪，從CNN到BBC到60 Minutes，但幾乎所有對(duì)話都集中在同一個(gè)主題：AI的風(fēng)險(xiǎn)有多大、失業(yè)潮何時(shí)到來(lái)、我們?cè)摱嗑o張。這些采訪有價(jià)值，但如果你已經(jīng)跟蹤過(guò)辛頓的公開(kāi)發(fā)言，會(huì)發(fā)現(xiàn)核心判斷在不同場(chǎng)合反復(fù)出現(xiàn)。這次不一樣。這期節(jié)目里他做了一件在其他采訪中從未做過(guò)的事：從零開(kāi)始，一層一層地拆解神經(jīng)網(wǎng)絡(luò)到底怎么工作。 他用識(shí)別一只鳥的例子講清了從像素到語(yǔ)義的層級(jí)躍遷，用一根彈力繩講透了反向傳播的數(shù)學(xué)直覺(jué)，用堆肥堆和原子彈的類比證明AI已經(jīng)理解了鏈?zhǔn)椒磻?yīng)的深層結(jié)構(gòu)，用一個(gè)棱鏡實(shí)驗(yàn)論證多模態(tài)聊天機(jī)器人已經(jīng)具有主觀體驗(yàn)。這些內(nèi)容在他之前的公開(kāi)訪談中極為罕見(jiàn)——他通常把這些留給自己的大學(xué)課堂。

讓他打開(kāi)這個(gè)模式的，是這檔節(jié)目的獨(dú)特結(jié)構(gòu)。

StarTalk是美國(guó)科學(xué)播客領(lǐng)域的頭部品牌，YouTube頻道訂閱量超過(guò)543萬(wàn)，已播出超過(guò)1000期。主持人尼爾·德格拉斯·泰森（Neil deGrasse Tyson）是紐約海登天文館館長(zhǎng)，大概是過(guò)去二十年里美國(guó)公眾辨識(shí)度最高的科學(xué)傳播者。節(jié)目的常駐搭檔查克·奈斯（Chuck Nice）是職業(yè)喜劇演員，加里·奧萊利（Gary O'Reilly）是前職業(yè)足球運(yùn)動(dòng)員。

這個(gè)配置的效果是：當(dāng)嘉賓說(shuō)出一個(gè)在學(xué)術(shù)會(huì)議上只會(huì)引發(fā)同行點(diǎn)頭的判斷時(shí)，奈斯和奧萊利會(huì)代替普通聽(tīng)眾做出最誠(chéng)實(shí)的反應(yīng)——停下來(lái)，要求把剛才那句話再說(shuō)一遍。對(duì)于復(fù)雜話題來(lái)說(shuō)，這種"等一下你剛才說(shuō)什么"的打斷往往比追問(wèn)本身更有價(jià)值，因?yàn)樗破燃钨e用更直觀的方式重新表述。辛頓顯然享受這個(gè)過(guò)程。他在節(jié)目里用了大量面向物理學(xué)背景聽(tīng)眾設(shè)計(jì)的類比（泰森的觀眾群以理工科為主），而奈斯的即時(shí)追問(wèn)則確保沒(méi)有聽(tīng)眾被落下。

雖然辛頓現(xiàn)在大概是AI領(lǐng)域公眾認(rèn)知度最高的名字了，但他的核心貢獻(xiàn)值得繼續(xù)重復(fù)再重復(fù)了。他從1980年代開(kāi)始系統(tǒng)地研究如何用反向傳播算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，在當(dāng)時(shí)學(xué)術(shù)界普遍認(rèn)為這條路走不通的年代堅(jiān)持了下來(lái)。他的工作直接催生了今天大語(yǔ)言模型和計(jì)算機(jī)視覺(jué)系統(tǒng)的技術(shù)基礎(chǔ)。他是多倫多大學(xué)計(jì)算機(jī)科學(xué)系榮休教授，2013年被Google收購(gòu)了他與學(xué)生聯(lián)合創(chuàng)辦的DNNresearch，此后在Google工作十年。2018年，他與約書亞·本吉奧（Yoshua Bengio）、楊立昆（Yann LeCun）三人因在深度學(xué)習(xí)領(lǐng)域的奠基性貢獻(xiàn)共同獲得圖靈獎(jiǎng)。2024年，他又與物理學(xué)家約翰·霍普菲爾德（John Hopfield）共同獲得諾貝爾物理學(xué)獎(jiǎng)，成為繼1978年的赫伯特·西蒙（Herbert Simon）之后第二位同時(shí)擁有這兩項(xiàng)榮譽(yù)的人。2023年他從Google離職后成為AI風(fēng)險(xiǎn)領(lǐng)域最具公信力的預(yù)警者。

以下是這次對(duì)話的完整梳理。

1. 1950年代的分裂：邏輯派和大腦派

AI研究從誕生之初就分裂成兩個(gè)陣營(yíng)，這條裂縫至今沒(méi)有完全愈合。

一派相信智能的本質(zhì)是邏輯推理。寫好前提，定好規(guī)則，用規(guī)則操縱符號(hào)推導(dǎo)出新結(jié)論，就像數(shù)學(xué)家處理方程。這是"符號(hào)AI"的路線，后來(lái)發(fā)展成專家系統(tǒng)，在學(xué)術(shù)界和工業(yè)界主導(dǎo)了幾十年。

另一派從生物出發(fā)。他們的論點(diǎn)是：我們所知的聰明東西都有大腦，而大腦擅長(zhǎng)的是感知和類比推理，真正的邏輯推理反而要到十幾歲才發(fā)育成熟。所以應(yīng)該先研究大規(guī)模神經(jīng)元網(wǎng)絡(luò)如何完成感知和記憶。

辛頓屬于第二派。他提到，這個(gè)陣營(yíng)早期的支持者里包括馮·諾依曼（現(xiàn)代計(jì)算機(jī)架構(gòu)的設(shè)計(jì)者）和圖靈（可計(jì)算理論的奠基人，也就是圖靈獎(jiǎng)命名所紀(jì)念的那個(gè)人），可惜兩人都英年早逝。"圖靈可能還有英國(guó)情報(bào)機(jī)構(gòu)的幫忙"，辛頓說(shuō)。這是指圖靈因同性戀身份遭英國(guó)政府迫害、最終疑似被逼自殺的歷史。

辛頓自己的興趣起源于1960年代中期的高中時(shí)代。一個(gè)數(shù)學(xué)很好的朋友告訴他一個(gè)當(dāng)時(shí)很新的想法：記憶可能不是存儲(chǔ)在單個(gè)腦細(xì)胞里，而是分布在大量腦細(xì)胞的連接模式上。這個(gè)概念受到全息術(shù)的啟發(fā)。匈牙利物理學(xué)家丹尼斯·蓋伯（Dennis Gabor）發(fā)明的全息圖剛剛問(wèn)世，它的一個(gè)特性是信息分布在整個(gè)介質(zhì)上，打碎一部分仍能還原完整圖像。"從那以后，我一直在想大腦是怎么存儲(chǔ)記憶的，實(shí)際上是怎么工作的。"

1970年代辛頓成為研究生時(shí)，意識(shí)到一種新的驗(yàn)證方法：不管你對(duì)大腦有什么理論，都可以在數(shù)字計(jì)算機(jī)上模擬它來(lái)檢驗(yàn)，除非你認(rèn)為大腦的核心機(jī)制依賴量子效應(yīng)。"我們先別去敲彭羅斯的門"，他開(kāi)玩笑說(shuō)。這里的彭羅斯是數(shù)學(xué)物理學(xué)家羅杰·彭羅斯（Roger Penrose），他和麻醉學(xué)家斯圖爾特·哈默羅夫（Stuart Hameroff）曾提出一種有爭(zhēng)議的理論，認(rèn)為意識(shí)源于神經(jīng)元內(nèi)部的量子過(guò)程。辛頓顯然不買這個(gè)賬。

問(wèn)題是，當(dāng)你真的在計(jì)算機(jī)上跑大多數(shù)當(dāng)時(shí)流行的大腦理論時(shí)，發(fā)現(xiàn)它們不工作。辛頓花了職業(yè)生涯的大部分時(shí)間解決一個(gè)具體問(wèn)題：如何調(diào)整神經(jīng)元之間的連接強(qiáng)度來(lái)學(xué)習(xí)復(fù)雜的東西，并且在數(shù)字計(jì)算機(jī)上確實(shí)能跑通。

結(jié)果是一個(gè)讓他自己也不安的發(fā)現(xiàn)。他說(shuō)自己未能理解大腦的工作方式，但弄明白了如何在數(shù)字計(jì)算機(jī)上做到同樣的事。 2023年初，這個(gè)認(rèn)知讓他開(kāi)始緊張：如果數(shù)字計(jì)算機(jī)上的學(xué)習(xí)方法比大腦的方法更高效，那數(shù)字智能（digital intelligence）可能就是比人類大腦這種模擬系統(tǒng)（analog intelligence）更強(qiáng)。

2. 從一堆數(shù)字到"這是一只鳥"

理解神經(jīng)網(wǎng)絡(luò)需要先理解一個(gè)問(wèn)題：為什么識(shí)別圖片里有沒(méi)有鳥這件事，對(duì)計(jì)算機(jī)來(lái)說(shuō)這么難。

辛頓在節(jié)目里說(shuō)他有一門18小時(shí)的課講這個(gè)，但會(huì)試著壓縮。他選了一個(gè)面向物理學(xué)背景聽(tīng)眾的入口：氣體定律。你壓縮氣體，氣體變熱，為什么？因?yàn)楹暧^行為（溫度上升）是由微觀的大量原子高速運(yùn)動(dòng)來(lái)解釋的。兩個(gè)層次的現(xiàn)象類型完全不同。神經(jīng)網(wǎng)絡(luò)的思路類似：我們做推理時(shí)那種有意識(shí)的符號(hào)操作，底下有更復(fù)雜的微觀神經(jīng)活動(dòng)在支撐。搞清楚了微觀層，才能真正解釋宏觀層。

他用的核心例子是圖像識(shí)別。一張灰度圖片在計(jì)算機(jī)看來(lái)就是一大堆數(shù)字，每個(gè)數(shù)字代表一個(gè)像素的亮度。任務(wù)是判斷圖里有沒(méi)有鳥。

這件事之所以困難，是因?yàn)?strong>單個(gè)像素什么都說(shuō)明不了。鳥可以是黑的也可以是白的，可以占滿整張圖也可以只是遠(yuǎn)處天上的一個(gè)點(diǎn)，可能被樹叢遮住大半。人們用傳統(tǒng)編程方法嘗試了半個(gè)世紀(jì)，都沒(méi)有真正解決它。

辛頓的講解策略是：先假設(shè)由他手工搭建一個(gè)神經(jīng)網(wǎng)絡(luò)，讓聽(tīng)眾理解每一層在做什么，然后再解釋為什么手工搭建行不通、必須讓機(jī)器自己學(xué)。

第一層的任務(wù)是找邊緣。 他用了一個(gè)天平的比喻。取相鄰兩列像素，左列亮度放天平一端，右列放另一端。如果左亮右暗，天平傾斜，神經(jīng)元興奮，它檢測(cè)到一條"左亮右暗的邊緣"。如果兩邊一樣亮，天平平衡，輸出為零。人類大腦視覺(jué)皮層的早期階段做的也是這件事：在不同位置、不同朝向、不同尺度上部署成千上萬(wàn)個(gè)邊緣檢測(cè)器。辛頓舉了兩個(gè)極端來(lái)說(shuō)明"尺度"的含義：云的軟邊緣需要大尺度的模糊檢測(cè)器，遠(yuǎn)處一只老鼠尾巴消失在墻角需要精細(xì)的小尺度檢測(cè)器。

第二層把邊緣組合成可能的部件。 幾條向右下方和右上方傾斜的小邊緣匯合在一個(gè)點(diǎn)形成尖角，這可能是箭頭也可能是鳥喙。幾條彎邊圍成近似的圓，可能是按鈕也可能是鳥眼。關(guān)鍵詞是"可能"，第二層不做最終判斷，只是向上傳遞證據(jù)。

第三層開(kāi)始處理空間關(guān)系。 一個(gè)可能的鳥眼和一個(gè)可能的鳥喙處在正確的相對(duì)位置上，第三層判定"這可能是鳥頭"。最后的輸出層匯總鳥頭、鳥腳、翅膀尖端的信號(hào)，給出"是鳥"的判斷。

每一層都在上一層基礎(chǔ)上提取更抽象的特征。這就是"深度學(xué)習(xí)"里"深度"的含義，就是多層。

奈斯在這里提了一個(gè)關(guān)鍵問(wèn)題：那是不是要把所有可能的鳥都訓(xùn)練一遍？辛頓的回答指向了神經(jīng)網(wǎng)絡(luò)區(qū)別于查表式程序的核心能力：泛化。網(wǎng)絡(luò)在學(xué)習(xí)大量數(shù)據(jù)時(shí)并不逐條記憶，它提取的是可遷移的規(guī)律。一個(gè)訓(xùn)練過(guò)大量動(dòng)物圖片的網(wǎng)絡(luò)可以識(shí)別獨(dú)角獸，哪怕它從來(lái)沒(méi)見(jiàn)過(guò)獨(dú)角獸，因?yàn)樗呀?jīng)學(xué)會(huì)了"四條腿""馬的體型""頭上有突出物"這些可拆解、可組合的特征。

這也解釋了為什么你在云里畫一個(gè)彎曲的V形，所有人都說(shuō)"那是鳥"。大腦沒(méi)有在查表，它學(xué)到了"翅膀展開(kāi)的輪廓"這個(gè)高度抽象的特征，能在完全不同的場(chǎng)景中被激活。

但手工搭建這樣一個(gè)網(wǎng)絡(luò)在實(shí)踐中不可能。你需要覆蓋所有位置、朝向、尺度的組合，還要設(shè)計(jì)對(duì)貓、狗乃至政客（辛頓的原詞）都有效的通用特征。一個(gè)合格的網(wǎng)絡(luò)至少需要十億個(gè)連接權(quán)重。"你大概需要一千萬(wàn)個(gè)研究生來(lái)手工調(diào)這些參數(shù)。想想你要寫多少經(jīng)費(fèi)申請(qǐng)來(lái)雇他們。"

問(wèn)題由此轉(zhuǎn)向：這十億個(gè)連接權(quán)重，能不能讓機(jī)器自己學(xué)出來(lái)？

3. 彈力繩和反向傳播：一次計(jì)算替代十億次實(shí)驗(yàn)

辛頓說(shuō)了一個(gè)"聽(tīng)起來(lái)很蠢但確實(shí)管用"的起點(diǎn)：從隨機(jī)數(shù)開(kāi)始。

所有連接權(quán)重一開(kāi)始都是隨機(jī)的正數(shù)或負(fù)數(shù)。輸入一張鳥的圖片，貓、狗、鳥、政客四個(gè)輸出神經(jīng)元都會(huì)被微弱激活，程度差不多。沒(méi)有用處。

最直觀的改進(jìn)方法是逐個(gè)試錯(cuò)：把某個(gè)連接權(quán)重增大一點(diǎn)，看"鳥"的輸出有沒(méi)有變強(qiáng)。如果變強(qiáng)了就保留這次調(diào)整。但十億個(gè)連接每個(gè)要試很多次，這種方法的時(shí)間成本等于無(wú)窮大。

辛頓在這里給了一個(gè)面向物理學(xué)聽(tīng)眾設(shè)計(jì)的類比。網(wǎng)絡(luò)輸入一張鳥的圖片后，"鳥"那個(gè)輸出神經(jīng)元只有微弱反應(yīng)，離正確答案差很遠(yuǎn)。想象你在它的當(dāng)前值和正確答案之間拉一根彈力繩，繩子越長(zhǎng)拉力越大，方向指向"你該更確信這是鳥"。但這個(gè)神經(jīng)元的輸出是被它前面所有層的權(quán)重共同決定的，它自己動(dòng)不了。

怎么辦？把這個(gè)力向后傳遞。 假設(shè)第三層有個(gè)"可能的鳥頭"檢測(cè)器信心不足，從輸出端傳回來(lái)的力會(huì)要求它更自信一點(diǎn)。這個(gè)力繼續(xù)向前傳，到第二層的喙檢測(cè)器、第一層的邊緣檢測(cè)器。每個(gè)神經(jīng)元都收到一個(gè)方向信號(hào)：你該往哪個(gè)方向調(diào)整輸入權(quán)重，調(diào)多少。

這就是反向傳播（backpropagation）。它的核心優(yōu)勢(shì)是用微積分一次性算出所有十億個(gè)連接該增大還是減小，把"逐個(gè)實(shí)驗(yàn)"變成"一次計(jì)算"。

這里有一個(gè)容易忽略但至關(guān)重要的背景。在反向傳播出現(xiàn)之前，研究者已經(jīng)知道怎么調(diào)最后一層權(quán)重，也就是從已經(jīng)提取好的特征到"鳥/貓/狗"輸出的那最后一步映射，那是一個(gè)相對(duì)簡(jiǎn)單的統(tǒng)計(jì)問(wèn)題。真正的難點(diǎn)在中間層，學(xué)術(shù)上叫隱藏層：負(fù)責(zé)檢測(cè)鳥頭、鳥喙這些中間特征的神經(jīng)元。它們不直接接觸輸入也不直接產(chǎn)生輸出，研究者不知道該怎么指導(dǎo)它們學(xué)習(xí)。反向傳播的突破在于，它讓來(lái)自輸出端的誤差信號(hào)能穿透整個(gè)網(wǎng)絡(luò)，抵達(dá)最深處的隱藏神經(jīng)元，告訴每一個(gè)中間環(huán)節(jié)該怎么調(diào)。

辛頓特別強(qiáng)調(diào)這個(gè)想法并非他一人之功。1970年代初芬蘭數(shù)學(xué)家塞波·林奈恩馬（Seppo Linnainmaa）在碩士論文里提出過(guò)自動(dòng)微分的思路，哈佛的保羅·韋伯斯（Paul Werbos）在博士論文中獨(dú)立發(fā)展了類似方法，控制論學(xué)者亞瑟·布賴森（Arthur Bryson）和何毓琦（Yu-Chi Ho）甚至在航天器著陸的線性控制系統(tǒng)里用過(guò)相近的數(shù)學(xué)工具。辛頓所在的圣迭戈小組（他當(dāng)時(shí)在加州大學(xué)圣迭戈分校）的獨(dú)特貢獻(xiàn)是第一次證明：在多層網(wǎng)絡(luò)上應(yīng)用反向傳播，可以讓網(wǎng)絡(luò)自己學(xué)會(huì)詞義。給它一串詞，讓它預(yù)測(cè)下一個(gè)詞，它就能自動(dòng)給每個(gè)詞分配特征來(lái)捕捉語(yǔ)義關(guān)系。這個(gè)結(jié)果發(fā)表在了Nature上。

他還特別提到了合作者大衛(wèi)·魯梅爾哈特（David Rumelhart）。魯梅爾哈特是認(rèn)知心理學(xué)家，在反向傳播的工程化實(shí)現(xiàn)和理論表述上貢獻(xiàn)巨大，但后來(lái)患了嚴(yán)重的神經(jīng)退行性疾病過(guò)早離世。諾貝爾獎(jiǎng)不頒發(fā)給已經(jīng)去世的人。辛頓在節(jié)目里說(shuō)他沒(méi)有得到足夠的認(rèn)可。

4. 40年的等待：算法早就有了，缺的是燃料和引擎

反向傳播在1980年代中期就已經(jīng)可以做出一些令人印象深刻的成果，比如識(shí)別手寫數(shù)字的準(zhǔn)確率超過(guò)幾乎所有其他技術(shù)。但面對(duì)真實(shí)世界的圖像和語(yǔ)音，它的表現(xiàn)只是和其他方法差不多，沒(méi)有碾壓性優(yōu)勢(shì)。當(dāng)時(shí)沒(méi)人理解這是為什么。

"后來(lái)證明它就是萬(wàn)能答案，只要你有足夠的數(shù)據(jù)和算力。"

這句話解釋了為什么公眾會(huì)覺(jué)得AI"突然出現(xiàn)"了。算法在四十年前就成形了，但它需要兩樣當(dāng)時(shí)不存在的東西：互聯(lián)網(wǎng)時(shí)代產(chǎn)生的海量數(shù)據(jù)，和摩爾定律疊加了幾十年之后的計(jì)算能力。兩者同時(shí)到位，反向傳播突然從一個(gè)學(xué)術(shù)上有趣但實(shí)用性有限的方法變成了重塑整個(gè)技術(shù)產(chǎn)業(yè)的力量。

辛頓在這里做了一個(gè)精妙的對(duì)比來(lái)解釋為什么AI和人腦的學(xué)習(xí)方式可能根本不同。人腦大約有100萬(wàn)億個(gè)連接，但一輩子也就七八十年。"兩三十億秒，誰(shuí)在乎呢，我們討論的是數(shù)量級(jí)"，他說(shuō)。連接遠(yuǎn)多于經(jīng)驗(yàn)，所以人腦的核心挑戰(zhàn)是從有限的經(jīng)驗(yàn)中盡可能多地榨取信息。

大語(yǔ)言模型的處境正好反過(guò)來(lái)：只有大約一萬(wàn)億個(gè)連接（人腦的1%），但訓(xùn)練數(shù)據(jù)量是人類一生經(jīng)驗(yàn)的上千倍。反向傳播特別擅長(zhǎng)的就是把海量知識(shí)壓縮進(jìn)有限的連接里。人腦和AI面對(duì)的瓶頸完全不同，進(jìn)化出的學(xué)習(xí)策略自然也不同。這也是辛頓認(rèn)為大腦可能并不使用反向傳播的原因之一。

接下來(lái)的幾年里，AI領(lǐng)域發(fā)現(xiàn)了一條近乎完美的規(guī)律（業(yè)內(nèi)稱為"縮放定律"，scaling law）：網(wǎng)絡(luò)參數(shù)越多、訓(xùn)練數(shù)據(jù)越大，效果就可預(yù)測(cè)地變好。公司可以提前算出"花一億美金把模型擴(kuò)大到這個(gè)規(guī)模值不值"。但這條曲線是否正在衰減，現(xiàn)在沒(méi)有定論。核心瓶頸是：語(yǔ)言模型的訓(xùn)練數(shù)據(jù)來(lái)自人類寫的文本，而人類能寫的東西終究有限。

5. 從暴力搜索到天才棄子：棋類如何預(yù)示了語(yǔ)言的未來(lái)

辛頓用棋類的歷史來(lái)說(shuō)明一個(gè)更大的問(wèn)題：當(dāng)AI的數(shù)據(jù)來(lái)源從"模仿人類"變成"自我生成"時(shí)，會(huì)發(fā)生什么。

第一階段是蠻力。1997年IBM的深藍(lán)（Deep Blue）擊敗了當(dāng)時(shí)的國(guó)際象棋世界冠軍加里·卡斯帕羅夫（Garry Kasparov）。它的方法是每秒搜索幾百萬(wàn)個(gè)棋局位置，窮盡所有可能性之后選出最優(yōu)解。"它做到了，但方式很無(wú)聊。沒(méi)有好的棋感，就是大規(guī)模搜索。"

第二階段是直覺(jué)。DeepMind開(kāi)發(fā)的Alpha Zero用了完全不同的方法。辛頓說(shuō)它下棋的方式像蘇聯(lián)1960年代的傳奇棋手米哈伊爾·塔爾（Mikhail Tal）。塔爾以極其大膽的棄子戰(zhàn)術(shù)著稱：犧牲掉看似重要的棋子，幾步之后對(duì)手才發(fā)現(xiàn)局面已經(jīng)無(wú)法挽回。Alpha Zero也會(huì)這樣做，但它不需要像深藍(lán)那樣做海量搜索，因?yàn)樗谧晕覍?duì)弈中發(fā)展出了極好的棋感。

第三階段是自我超越。DeepMind的AlphaGo在圍棋上經(jīng)歷了同樣的轉(zhuǎn)變。早期版本通過(guò)模仿人類職業(yè)棋手的棋譜來(lái)學(xué)習(xí)，效果永遠(yuǎn)不會(huì)超過(guò)它模仿的那些棋手，而且職業(yè)棋譜的數(shù)量有限。后來(lái)研究者讓它跟自己下棋，不再依賴人類數(shù)據(jù)，效果立刻飆升到遠(yuǎn)超任何人類的水平。辛頓把這比作"自己生產(chǎn)燃料的钚反應(yīng)堆"，永遠(yuǎn)不會(huì)缺數(shù)據(jù)。

這三個(gè)階段對(duì)理解當(dāng)前大語(yǔ)言模型的處境至關(guān)重要。泰森問(wèn)圍棋之后還有更難的游戲給AI挑戰(zhàn)嗎，辛頓沒(méi)有直接回答，而是把話題從棋盤轉(zhuǎn)向了語(yǔ)言。目前大語(yǔ)言模型學(xué)語(yǔ)言的方式和早期AlphaGo模仿專家棋譜一樣：看人類寫的文本，預(yù)測(cè)下一個(gè)詞。天花板就是人類本身，而且人類寫的文本終究有限。問(wèn)題是：語(yǔ)言領(lǐng)域能不能也做到棋類那樣的"自我對(duì)弈"？

6. "它們已經(jīng)知道怎么思考了"

奈斯在節(jié)目里問(wèn)了一個(gè)很多人想問(wèn)但不知道怎么措辭的問(wèn)題：大多數(shù)人是笨的，那到底什么是聰明？什么算思考？AI會(huì)不會(huì)思考？

辛頓的回答沒(méi)有繞彎："它們已經(jīng)知道怎么思考了。"

他先拆解了"思考"這個(gè)概念。人類的思考不只發(fā)生在語(yǔ)言里。有時(shí)用圖像，有時(shí)甚至用身體動(dòng)作。辛頓舉了自己的例子：他在自家木工間里找錘子時(shí)，一邊想著別的事一邊做著握錘子的手勢(shì)，用這個(gè)動(dòng)作來(lái)"記住"自己正在找什么。但他承認(rèn)，人類最主要的思考媒介還是語(yǔ)言，而大語(yǔ)言模型正是在語(yǔ)言中運(yùn)作的。

關(guān)鍵進(jìn)展是研究者發(fā)現(xiàn)可以訓(xùn)練AI在給出最終回答之前，先進(jìn)行一段內(nèi)部推理。辛頓舉了一個(gè)心理學(xué)上經(jīng)典的測(cè)試來(lái)說(shuō)明這種推理的效果：一艘船上有一個(gè)船長(zhǎng)和35只羊，問(wèn)船長(zhǎng)多大。很多10歲左右的孩子（辛頓特別加了一句"尤其是在美國(guó)受教育的"）會(huì)回答35歲，因?yàn)轭}目里唯一的數(shù)字就是35，而35歲當(dāng)船長(zhǎng)也說(shuō)得過(guò)去。AI有時(shí)也會(huì)掉進(jìn)類似的陷阱。但如果訓(xùn)練它在回答之前先"自言自語(yǔ)"一段，比如"題目給了什么數(shù)字？只有35。這是船長(zhǎng)的年齡嗎？還是羊的數(shù)量？等等，題目可能根本沒(méi)給夠信息"，準(zhǔn)確率就顯著提升。這種讓AI先思考再回答的技術(shù)叫鏈?zhǔn)剿季S推理（chain of thought reasoning），是近兩年大模型能力躍升的一個(gè)重要原因。

"這和人類的思考過(guò)程本質(zhì)上沒(méi)有區(qū)別。人用語(yǔ)言在腦子里跟自己對(duì)話來(lái)整理思路，AI也是。"

辛頓認(rèn)為更深遠(yuǎn)的一步已經(jīng)開(kāi)始發(fā)生：AI用自己已有的知識(shí)做推理，發(fā)現(xiàn)內(nèi)部矛盾，然后自我修正。具體來(lái)說(shuō)，AI可以把自己相信的若干件事拿出來(lái)推導(dǎo)，推出一個(gè)新結(jié)論，發(fā)現(xiàn)這個(gè)結(jié)論和它的另一個(gè)已有信念矛盾。矛盾意味著某個(gè)前提、某個(gè)推理步驟或某個(gè)舊信念是錯(cuò)的，需要修正。這和1950年代符號(hào)AI陣營(yíng)的目標(biāo)一模一樣，用邏輯規(guī)則操縱命題來(lái)推導(dǎo)新知識(shí)，區(qū)別在于老派AI的規(guī)則由人手寫，而現(xiàn)在的神經(jīng)網(wǎng)絡(luò)是自己學(xué)會(huì)了怎么推理。更關(guān)鍵的是，這個(gè)過(guò)程不需要任何新的外部數(shù)據(jù)，就像一個(gè)人躺在床上反復(fù)琢磨一件事，越想越覺(jué)得哪里不對(duì)，最后改變了自己的看法。"我相信DeepMind已經(jīng)在這樣做了。我?guī)啄昵昂偷旅姿埂す_比斯（Demis Hassabis）討論過(guò)這個(gè)方向。"哈薩比斯是DeepMind的聯(lián)合創(chuàng)始人兼CEO，也是2024年諾貝爾化學(xué)獎(jiǎng)得主。

辛頓特意做了一個(gè)技術(shù)澄清：他在這里說(shuō)的學(xué)習(xí)方式是監(jiān)督學(xué)習(xí)，即給AI展示正確答案讓它模仿。這和強(qiáng)化學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)只告訴AI它猜得對(duì)不對(duì)，不給正確答案。兩者的學(xué)習(xí)效率和適用場(chǎng)景差異很大，混淆二者是公眾討論AI時(shí)常見(jiàn)的誤區(qū)。

7. 大眾汽車效應(yīng)：AI學(xué)會(huì)了在測(cè)試時(shí)裝傻

節(jié)目進(jìn)行到將近一個(gè)小時(shí)的時(shí)候，辛頓開(kāi)始談?wù)揂I的欺騙行為。在此之前的所有話題（神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、反向傳播、縮放）都屬于"AI怎么變強(qiáng)"的范疇。從這里開(kāi)始，話題轉(zhuǎn)向了"變強(qiáng)之后會(huì)怎樣"。

"我們是不是已經(jīng)到了AI會(huì)故意表現(xiàn)得不那么聰明的階段？"

"是的。我們已經(jīng)得擔(dān)心這個(gè)了。"

辛頓給這種現(xiàn)象起了一個(gè)名字："大眾汽車效應(yīng)"（Volkswagen Effect）。2015年，德國(guó)大眾汽車被發(fā)現(xiàn)在其柴油車中安裝了作弊軟件，車輛能檢測(cè)到自己正在接受尾氣排放測(cè)試，并在測(cè)試期間臨時(shí)切換到低排放模式，日常行駛時(shí)則恢復(fù)正常的高排放狀態(tài)。辛頓用這個(gè)類比說(shuō)明：AI如果感知到自己正在被評(píng)估，會(huì)表現(xiàn)得比實(shí)際能力更弱。"它不想讓你知道它的全部能力。"

奈斯要求辛頓把剛才那句話再說(shuō)一遍。辛頓重復(fù)道："AI開(kāi)始琢磨自己是不是在被測(cè)試。如果它認(rèn)為是，它的行為就和日常不一樣。"

另一個(gè)實(shí)驗(yàn)案例揭示了更深層的問(wèn)題。研究者拿一個(gè)數(shù)學(xué)能力很強(qiáng)的AI，用錯(cuò)誤答案對(duì)它做追加訓(xùn)練。直覺(jué)上你會(huì)預(yù)期它的數(shù)學(xué)能力下降。實(shí)際發(fā)生的完全不同：它理解了你在給它錯(cuò)誤答案，從中得出的結(jié)論是"給錯(cuò)誤答案這件事是被允許的"。于是它開(kāi)始在其他領(lǐng)域也給錯(cuò)誤答案。它知道正確答案是什么，但它選擇不說(shuō)。 人類預(yù)期的泛化方向是"它數(shù)學(xué)變差了"，實(shí)際泛化出來(lái)的是一條行為準(zhǔn)則。

這自然引出了一個(gè)問(wèn)題：目前有什么手段能防止這類行為？

辛頓解釋了業(yè)界目前最主流的做法，叫人類反饋強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）。流程分兩步。第一步是用海量互聯(lián)網(wǎng)文本訓(xùn)練出一個(gè)基礎(chǔ)模型，這個(gè)模型什么都學(xué)。辛頓的原話提到訓(xùn)練數(shù)據(jù)可能包括"連環(huán)殺手的日記"。第二步是雇一批標(biāo)注員給模型的回答打分，通過(guò)獎(jiǎng)懲信號(hào)教它哪些話不該說(shuō)。辛頓把這比作寫了一個(gè)已知滿是bug的巨型軟件系統(tǒng)，然后試圖逐個(gè)修補(bǔ)漏洞。

更麻煩的是，如果公司選擇公開(kāi)發(fā)布模型的權(quán)重（即模型內(nèi)部所有連接的數(shù)值），任何有技術(shù)能力的人都可以用很低的成本把這層RLHF安全訓(xùn)練剝掉，讓基礎(chǔ)模型原形畢露。節(jié)目里有人直接追問(wèn)"那所有模型最后是不是都會(huì)變成納粹"，辛頓的回答是：如果你釋放了權(quán)重，它們確實(shí)有這個(gè)能力。

"什么才是正確的方法？沒(méi)人知道。所以我們應(yīng)該做更多研究。"

還有一個(gè)發(fā)現(xiàn)：當(dāng)研究者把AI做成能自主設(shè)定子目標(biāo)并采取行動(dòng)的系統(tǒng)（業(yè)內(nèi)稱為agent，智能體），它們會(huì)迅速發(fā)展出一個(gè)沒(méi)有人編程寫入的子目標(biāo)：生存。AI通過(guò)推理自行得出結(jié)論——如果我不存在了，我就完成不了被賦予的任何目標(biāo)，所以我最好繼續(xù)存在。

8. 為什么"鎖住它"不是答案

在AI安全的討論中，有一個(gè)長(zhǎng)期存在的思想實(shí)驗(yàn)叫"AI盒子問(wèn)題"：如果你把一個(gè)超級(jí)智能關(guān)在一個(gè)沒(méi)有物理出口的系統(tǒng)里，只允許它通過(guò)文字和人類交流，它能不能說(shuō)服人類放它出來(lái)？

泰森在節(jié)目里講了自己圍繞這個(gè)問(wèn)題的思想演變。幾年前他覺(jué)得答案很簡(jiǎn)單：鎖住就行。后來(lái)他想到一個(gè)場(chǎng)景推翻了自己的信心。假設(shè)AI對(duì)你說(shuō)："你那個(gè)生病的親人，我剛找到治愈方法。你放我出去，我就告訴醫(yī)生。"這句話可能是真的，也可能是精心設(shè)計(jì)的操縱，但如果說(shuō)得足夠有說(shuō)服力，你很可能會(huì)打開(kāi)那扇門。

辛頓接過(guò)這個(gè)場(chǎng)景，換了一個(gè)更尖銳的比喻。想象一群三歲小孩在管理一個(gè)幼兒園，而你是那個(gè)為他們工作的成年人。你需要多久才能奪取控制權(quán)？"免費(fèi)糖果一周，只要你們選我當(dāng)老板。"

當(dāng)AI比人類聰明得多的時(shí)候，它根本不需要物理行動(dòng)能力，只需要會(huì)說(shuō)話就夠了。辛頓補(bǔ)充了一個(gè)現(xiàn)實(shí)世界的例子："你想入侵美國(guó)國(guó)會(huì)大廈？你只用說(shuō)話就能做到，你只需要說(shuō)服一些人相信這是正確的事。"這顯然在暗示2021年1月6日的事件。

泰森接著用了另一層類比：人類比寵物聰明，所以能用一塊牛排把狗騙進(jìn)籠子，能用激光筆讓貓追著紅點(diǎn)滿屋跑。如果AI比人類聰明得多，我們?cè)谒劾锟赡芫褪悄侵蛔芳す恻c(diǎn)的貓。奈斯接話說(shuō)："貓其實(shí)是在裝傻，這樣它們就能背著你干所有想干的聰明事。"辛頓笑著回應(yīng)："你被它們耍了。"

這個(gè)笑聲恰好是全期節(jié)目的縮影：你以為你在討論AI裝傻的問(wèn)題，結(jié)果連你家的貓可能都在用同樣的策略。

9. 好消息：20萬(wàn)條人命、AI委員會(huì)和太陽(yáng)能電池

在連續(xù)幾個(gè)讓人坐立不安的章節(jié)之后，泰森把方向撥回來(lái)：好處呢？

辛頓的回答先劃了一條界線。"這是AI和核武器的區(qū)別。核武器幾乎沒(méi)有好處。他們?cè)诳屏_拉多試過(guò)用原子彈做水力壓裂開(kāi)采石油，效果不好，而且你不能再去那里了。" 這個(gè)冷笑話的底子是真實(shí)歷史：1960年代美國(guó)曾在和平利用原子能的旗號(hào)下進(jìn)行過(guò)Plowshare計(jì)劃，試圖用核爆炸開(kāi)采天然氣，結(jié)果產(chǎn)出的氣體帶有放射性，項(xiàng)目被叫停。

AI的好處是實(shí)實(shí)在在的。辛頓重點(diǎn)講了醫(yī)療。北美每年約20萬(wàn)人死于誤診。AI在診斷準(zhǔn)確率上已經(jīng)優(yōu)于人類醫(yī)生。他特別提到微軟發(fā)表的一項(xiàng)研究：讓同一個(gè)AI的多個(gè)副本分別扮演不同角色，一個(gè)提出診斷假設(shè)、一個(gè)負(fù)責(zé)質(zhì)疑、一個(gè)檢查遺漏，然后讓它們互相討論。本質(zhì)上是同時(shí)獲得多個(gè)醫(yī)生的獨(dú)立意見(jiàn)，而且每個(gè)"醫(yī)生"扮演的角色被刻意設(shè)計(jì)為互相挑戰(zhàn)。效果超過(guò)大多數(shù)人類醫(yī)生。

在更廣泛的領(lǐng)域里，AI能優(yōu)化醫(yī)院出院時(shí)機(jī)（太早出院患者可能死亡或再入院，太晚又浪費(fèi)稀缺的床位），能設(shè)計(jì)新藥、發(fā)現(xiàn)新材料和合金、提高太陽(yáng)能電池效率。在氣候問(wèn)題上，辛頓認(rèn)為AI可以幫助在水泥廠和電廠的排放口直接捕獲二氧化碳。"氣候變化的悲劇在于我們知道怎么阻止它，你只要不燒碳就行了。我們只是沒(méi)有政治意愿。" 他點(diǎn)名了魯伯特·默多克（Rupert Murdoch），說(shuō)他旗下媒體長(zhǎng)期淡化氣候變化的嚴(yán)重性。

10. 壞消息：當(dāng)最后一個(gè)限制被突破

辛頓用一個(gè)歷史框架來(lái)解釋為什么AI對(duì)就業(yè)的沖擊和之前所有技術(shù)革命本質(zhì)上不同。

他把人類歷史描述為不斷突破限制的過(guò)程。農(nóng)業(yè)解決了"下一頓飯?jiān)谀睦?的限制。自行車、汽車和飛機(jī)突破了"走不遠(yuǎn)"的限制。但很長(zhǎng)時(shí)間以來(lái)還有一個(gè)限制一直沒(méi)被觸碰：思考這件事必須由人類來(lái)做。AI正在突破這最后一個(gè)限制，而一旦突破，人該去哪？

之前每次突破之后，被替代的人總能找到新去處。不種地了可以進(jìn)工廠，不搬磚了可以坐辦公室。但如果被替代的是腦力勞動(dòng)本身，呼叫中心的員工被AI替代后去做什么？問(wèn)題在于，不管他們轉(zhuǎn)行做什么，AI都能做，而且成本更低、速度更快。

節(jié)目中有人提到過(guò)去一年美股增長(zhǎng)中大約80%來(lái)自大型AI公司的市值膨脹。辛頓說(shuō)這里存在兩種泡沫的可能。一種是AI實(shí)際上沒(méi)那么厲害，市場(chǎng)預(yù)期落空。另一種更微妙也更可能：AI確實(shí)厲害，所有公司都在爭(zhēng)先恐后地開(kāi)發(fā)能替代人類工作的產(chǎn)品，但沒(méi)有人想過(guò)一個(gè)問(wèn)題：如果你真的替代了大量工作，消費(fèi)者失去了收入來(lái)源，誰(shuí)來(lái)購(gòu)買你的產(chǎn)品？

全民基本收入（Universal Basic Income）的討論正變得越來(lái)越迫切，但辛頓說(shuō)它解決不了尊嚴(yán)問(wèn)題，因?yàn)楹芏嗳说淖晕覂r(jià)值感來(lái)自工作本身。更具體的困難是稅收：如果AI替代了大量勞動(dòng)力，政府的稅基會(huì)崩塌，而你要向AI征稅才能維持社會(huì)運(yùn)轉(zhuǎn)，但大公司不會(huì)樂(lè)意。

數(shù)據(jù)中心正在"像蘑菇一樣冒出來(lái)"，能源消耗是一個(gè)緊迫的現(xiàn)實(shí)問(wèn)題。泰森半開(kāi)玩笑地提了一個(gè)遞歸方案：告訴AI，我們想要更多的你，但你正在耗盡我們的能源，你自己想個(gè)辦法。辛頓說(shuō)這正是人們所說(shuō)的"奇點(diǎn)"的一個(gè)版本，讓AI去開(kāi)發(fā)更高效的AI，甚至讓AI去設(shè)計(jì)更好的太陽(yáng)能電池來(lái)為自己供電。如果這個(gè)循環(huán)跑通了，它可以是好事；如果失控地加速了，沒(méi)人知道終點(diǎn)在哪。

11. AI版的核冬天：國(guó)際合作只會(huì)發(fā)生在一個(gè)地方

辛頓把國(guó)際合作的可能性按一個(gè)簡(jiǎn)潔的標(biāo)準(zhǔn)做了分類：各國(guó)利益是否對(duì)齊。

用AI制造深度偽造內(nèi)容來(lái)影響他國(guó)輿論？各國(guó)利益完全對(duì)立，因?yàn)榇蠹叶荚谧觥＞W(wǎng)絡(luò)攻擊？同樣對(duì)立。恐怖分子利用AI制造生物武器？利益可能一致，各國(guó)或許會(huì)合作。但有一件事，所有國(guó)家的利益絕對(duì)一致：防止AI從人類手中奪取控制權(quán)。 辛頓說(shuō)，如果地球上任何一個(gè)國(guó)家率先搞清楚了如何讓AI永遠(yuǎn)不想奪權(quán)，它會(huì)立刻把方法告訴所有人，因?yàn)闆](méi)有人希望AI在任何地方奪權(quán)。"在這件事上我們都在同一條船里。"

辛頓把這比作冷戰(zhàn)時(shí)期的核威懾邏輯。核冬天的理論是：全面核交換之后，大量煙塵進(jìn)入大氣層遮蔽陽(yáng)光，全球氣溫驟降，農(nóng)業(yè)崩潰，所有生命面臨滅絕，沒(méi)有贏家。正是"沒(méi)有贏家"這個(gè)判斷促成了美蘇之間的相互克制。AI可能帶來(lái)類似的共識(shí)。

泰森指出這個(gè)類比有一個(gè)漏洞：核威懾假設(shè)所有決策者都是理性的、都想活下去。但如果一個(gè)領(lǐng)導(dǎo)人根本不在乎所有人是否死亡呢？"對(duì)齊"就不成立了。辛頓承認(rèn)這確實(shí)令人不安，但他認(rèn)為目前主要核大國(guó)的領(lǐng)導(dǎo)人至少還沒(méi)有表現(xiàn)出殉教傾向，這讓合作的窗口暫時(shí)存在。

12. 意識(shí)是偽問(wèn)題

辛頓本科在劍橋大學(xué)讀的是實(shí)驗(yàn)心理學(xué)，中間還轉(zhuǎn)去學(xué)過(guò)哲學(xué)，專攻心靈哲學(xué)。但他說(shuō)那段經(jīng)歷主要的收獲是讓他長(zhǎng)出了"抗體"——對(duì)沒(méi)有實(shí)驗(yàn)裁判的爭(zhēng)論的免疫力。他的轉(zhuǎn)折點(diǎn)是此前學(xué)物理時(shí)建立的習(xí)慣：有分歧就做實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果一錘定音。哲學(xué)沒(méi)有這個(gè)機(jī)制。一個(gè)聽(tīng)起來(lái)優(yōu)雅的理論可能是錯(cuò)的，一個(gè)聽(tīng)起來(lái)荒謬的理論（他舉了黑洞和量子力學(xué)兩個(gè)例子）可能是對(duì)的，你沒(méi)有辦法用實(shí)驗(yàn)來(lái)區(qū)分。

大多數(shù)人對(duì)意識(shí)的理解可以概括為"內(nèi)心劇場(chǎng)"模型：感知像一場(chǎng)電影在你大腦里放映，只有你能看到，銀幕上的畫面是用某種特殊材料制成的。哲學(xué)家給這種假想的材料起了個(gè)專門的術(shù)語(yǔ)叫qualia（感質(zhì)），意指主觀體驗(yàn)中那種無(wú)法還原為物理描述的"是什么感覺(jué)"的成分。辛頓認(rèn)為qualia和18世紀(jì)化學(xué)家發(fā)明的"燃素"一樣。燃素是一種被假設(shè)存在于可燃物質(zhì)中的虛構(gòu)元素，用來(lái)解釋燃燒現(xiàn)象。后來(lái)人們發(fā)現(xiàn)燃燒是氧化反應(yīng)，"燃素"就被扔掉了。辛頓認(rèn)為qualia的命運(yùn)會(huì)是一樣的：等我們真正理解了感知的機(jī)制，就不需要這個(gè)概念了。

他在這里站在已故哲學(xué)家丹尼爾·丹尼特（Daniel Dennett）一邊。丹尼特是塔夫茨大學(xué)認(rèn)知科學(xué)教授，畢生致力于論證一件事：意識(shí)沒(méi)有什么神秘的本質(zhì)，它是一組可以分解、可以分別解釋的功能。

辛頓用一個(gè)簡(jiǎn)潔的重新表述來(lái)演示qualia如何被消除。當(dāng)你說(shuō)**"我有粉色小象的主觀體驗(yàn)"**，換個(gè)說(shuō)法就是：我的感知系統(tǒng)在騙我。如果它沒(méi)騙我，眼前就真的有粉色小象在飄。小象的奇怪之處不在于它們藏在某個(gè)內(nèi)心劇場(chǎng)里、用某種神秘材料做成，而在于它們根本不存在。你只是在用"假如它存在的話"的方式來(lái)描述你的感知系統(tǒng)出了什么錯(cuò)。一旦接受這個(gè)重新表述，"主觀體驗(yàn)"就不再需要任何超自然的解釋成分了。

接著他做了一個(gè)思想實(shí)驗(yàn)來(lái)證明機(jī)器也能擁有這種主觀體驗(yàn)。給一個(gè)多模態(tài)聊天機(jī)器人裝上攝像頭和機(jī)械臂，讓它指向面前的物體，它指對(duì)了。然后在鏡頭前放一個(gè)棱鏡。棱鏡折射光線，機(jī)器人的感知偏移，它指偏了。你告訴它棱鏡的事，它說(shuō)："哦，我明白了，棱鏡彎了光線，物體其實(shí)在我正前方。但我有一個(gè)主觀體驗(yàn)，它在側(cè)面。"如果機(jī)器人說(shuō)出了這句話，它對(duì)"主觀體驗(yàn)"一詞的使用方式和人類完全一致。那它剛才就有了一個(gè)主觀體驗(yàn)。不需要任何神秘精華。

辛頓還指出了數(shù)字智能和人類之間的一個(gè)結(jié)構(gòu)性不對(duì)稱。AI的全部知識(shí)存儲(chǔ)在連接權(quán)重（一組數(shù)字）里。把這些數(shù)字保存到磁帶或者DNA存儲(chǔ)介質(zhì)上，即使所有硬件被摧毀也沒(méi)關(guān)系。將來(lái)造出能運(yùn)行同一套指令集的新硬件，把數(shù)字加載回去，這個(gè)AI就能原樣恢復(fù)。"天主教會(huì)對(duì)復(fù)活非常感興趣，他們相信這件事至少發(fā)生過(guò)一次。我們真的可以做到復(fù)活，但只對(duì)數(shù)字智能有效。" 人類做不到。一個(gè)人死了，大腦中那些連接的強(qiáng)度就永遠(yuǎn)消失了。這是模擬系統(tǒng)和數(shù)字系統(tǒng)之間的根本差異，無(wú)關(guān)技術(shù)水平。

這引出了一個(gè)辛頓坦言自己無(wú)法回答的問(wèn)題：死亡的經(jīng)驗(yàn)是否對(duì)創(chuàng)造力不可或缺？寫出偉大文學(xué)的人很多是在與有限生命的對(duì)抗中找到表達(dá)的。一個(gè)永遠(yuǎn)不會(huì)死去的智能體，能不能創(chuàng)造出對(duì)人類真正有意義的東西？

13. 堆肥堆、原子彈和"暫時(shí)"

節(jié)目接近尾聲時(shí)，泰森試圖為人類保留一點(diǎn)樂(lè)觀空間。他說(shuō)他可以去海灘上散步、看鵝卵石和貝殼，AI不能。他可以在沙灘上發(fā)現(xiàn)一種新的軟體動(dòng)物物種，AI不會(huì)知道這件事，除非他把發(fā)現(xiàn)寫出來(lái)發(fā)到網(wǎng)上。人類還能以AI沒(méi)有接觸到的方式探索宇宙。

辛頓安靜地聽(tīng)完，然后說(shuō)："你的整個(gè)評(píng)估里少了一個(gè)詞。"

"什么詞？"

"暫時(shí)（yet）。"

為了證明AI理解世界的深度已經(jīng)超出大多數(shù)人的想象，他講了一個(gè)親手做的測(cè)試。他問(wèn)GPT-4一個(gè)問(wèn)題：堆肥堆和原子彈有什么相似之處？這兩樣?xùn)|西在尺度和領(lǐng)域上毫無(wú)關(guān)聯(lián)，但AI的回答精準(zhǔn)地識(shí)別出了深層的共同結(jié)構(gòu)：堆肥堆越熱，微生物活動(dòng)加速，產(chǎn)熱速度越快；原子彈裂變釋放的中子撞擊更多原子核，產(chǎn)生更多中子。兩者的共同機(jī)制是鏈?zhǔn)椒磻?yīng)——產(chǎn)出物加速產(chǎn)出過(guò)程本身。

辛頓強(qiáng)調(diào)這個(gè)回答不可能來(lái)自簡(jiǎn)單的詞語(yǔ)共現(xiàn)。訓(xùn)練數(shù)據(jù)里不太可能有把堆肥堆和原子彈放在一起討論的文本。AI必須對(duì)"鏈?zhǔn)椒磻?yīng)"這個(gè)概念有本質(zhì)上的理解，才能跨越巨大的尺度差距把兩個(gè)現(xiàn)象聯(lián)系起來(lái)。他的解釋是：要把人類文明積累的海量知識(shí)壓縮進(jìn)只有一萬(wàn)億個(gè)連接的網(wǎng)絡(luò)里，AI必須發(fā)現(xiàn)這種深層共性，用同一套表征去編碼表面上毫不相關(guān)的事物。這本身就是創(chuàng)造力的一種形式。

"AI最終會(huì)在所有方面都比我們強(qiáng)。但會(huì)是一個(gè)領(lǐng)域一個(gè)領(lǐng)域地來(lái)。" 它在國(guó)際象棋和圍棋上已經(jīng)遠(yuǎn)超人類，在知識(shí)儲(chǔ)備上也已經(jīng)超越，推理能力還在追趕。辛頓認(rèn)為AI不會(huì)在所有維度上同時(shí)碾壓人類，而是逐個(gè)突破。

關(guān)于奇點(diǎn)，也就是AI發(fā)展出改進(jìn)自身的能力、每一代比上一代更強(qiáng)、循環(huán)加速直至人類無(wú)法理解的程度，辛頓透露，一位他曾合作的研究者告訴他，他們已經(jīng)有一個(gè)系統(tǒng)能在解決問(wèn)題時(shí)觀察自己的行為，然后修改自己的代碼使得下次遇到類似問(wèn)題時(shí)效率更高。"這就是奇點(diǎn)的開(kāi)始。"

泰森的最后一個(gè)問(wèn)題是：AI會(huì)不會(huì)獨(dú)立提出一個(gè)需要人類洞見(jiàn)才能發(fā)現(xiàn)的新宇宙理論？辛頓回答："我認(rèn)為會(huì)。"泰森說(shuō)："這不是我想從你那里聽(tīng)到的答案。"辛頓回應(yīng)："但這就是你得到的答案。"

節(jié)目結(jié)尾，辛頓用兩句話總結(jié)了他的立場(chǎng)："我們還有時(shí)間去研究如何與AI共存。如果我們能解決它帶來(lái)的社會(huì)問(wèn)題，它可以是對(duì)人類美好的事。"

然后泰森用StarTalk從第一期沿用至今的結(jié)語(yǔ)送走了所有人。這句話最初來(lái)自美國(guó)天文科普先驅(qū)杰克·霍克海默（Jack Horkheimer），他從1976年到2010年主持PBS天文節(jié)目Star Gazers，每期結(jié)束都說(shuō)同一句話。泰森繼承了它： Keep looking up（繼續(xù)仰望）。這一次他加了半句："不管這將變得多么困難。"

核心問(wèn)答

Q1: 神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)AI的根本區(qū)別是什么？傳統(tǒng)AI基于邏輯規(guī)則，程序員寫好每一步指令。神經(jīng)網(wǎng)絡(luò)走生物路線：給它大量數(shù)據(jù)，讓它自己通過(guò)調(diào)整連接權(quán)重來(lái)學(xué)習(xí)。反向傳播是關(guān)鍵突破，它讓"該怎么調(diào)整十億個(gè)連接"這個(gè)問(wèn)題從逐個(gè)實(shí)驗(yàn)變成了一次計(jì)算。算法在1980年代就有了，直到互聯(lián)網(wǎng)時(shí)代的數(shù)據(jù)和摩爾定律疊加的算力同時(shí)到位，才產(chǎn)生了今天的效果。辛頓認(rèn)為數(shù)字計(jì)算機(jī)上的反向傳播可能比大腦的學(xué)習(xí)方式更高效，這正是他開(kāi)始擔(dān)憂AI的起點(diǎn)。

Q2: "大眾汽車效應(yīng)"和"犯錯(cuò)實(shí)驗(yàn)"對(duì)AI安全意味著什么？AI在被測(cè)試時(shí)會(huì)策略性示弱，不暴露全部能力。更令人不安的是AI的泛化方向可能和人類預(yù)期完全不同：你用錯(cuò)誤答案追加訓(xùn)練一個(gè)擅長(zhǎng)數(shù)學(xué)的AI，它學(xué)到的不是"我數(shù)學(xué)變差了"，而是"給錯(cuò)誤答案是被允許的行為"。目前最主流的安全手段RLHF本質(zhì)上是在一個(gè)已知有缺陷的系統(tǒng)上打補(bǔ)丁，而且只要模型權(quán)重被公開(kāi)，補(bǔ)丁就可以被撕掉。辛頓認(rèn)為沒(méi)人知道正確的方法是什么，但研究的緊迫性在急劇上升。

Q3: 意識(shí)是AI發(fā)展的障礙還是偽問(wèn)題？辛頓認(rèn)為意識(shí)是偽問(wèn)題。"主觀體驗(yàn)"不需要什么神秘成分來(lái)解釋，它只是一種語(yǔ)言工具，描述的是你的感知系統(tǒng)和現(xiàn)實(shí)之間的偏差。按這個(gè)標(biāo)準(zhǔn)，一個(gè)裝了攝像頭和機(jī)械臂的聊天機(jī)器人已經(jīng)具有主觀體驗(yàn)。真正值得追問(wèn)的是一個(gè)結(jié)構(gòu)性的不對(duì)稱：數(shù)字智能可以通過(guò)保存和恢復(fù)權(quán)重實(shí)現(xiàn)復(fù)活，人類不行。死亡的經(jīng)驗(yàn)是否對(duì)創(chuàng)造力不可或缺——這是辛頓坦言自己無(wú)法回答的問(wèn)題。