AI 教父 Hinton 最新警告：AI 會(huì)撒謊、可能操縱人類，這比大規(guī)模失業(yè)更可怕

作者 | 允毅

如果說這個(gè)世界上有一個(gè)人，能讓你在聽完他的話后，對(duì)當(dāng)下的人工智能感到一種源自靈魂深處的戰(zhàn)栗，那一定非 Geoffrey Hinton（杰弗里·辛頓） 莫屬。

最新一期播客中，圖靈獎(jiǎng)與諾貝爾獎(jiǎng)雙得主、AI 教父 Geoffrey Hinton（杰弗里·辛頓）精彩亮相，這次他用最淺白的比喻講清楚了幾件事：它是怎么變聰明的，它已經(jīng)走到了哪里，它接下來會(huì)怎樣改變?nèi)祟惿鐣?huì)，以及一旦失控，終局可能有多可怕。

節(jié)目一開始，Hinton 先把 AI 的路線之爭(zhēng)講清楚了，也點(diǎn)出了神經(jīng)網(wǎng)絡(luò)最關(guān)鍵的訓(xùn)練機(jī)制“反向傳播”。在他看來，人類的優(yōu)勢(shì)在經(jīng)驗(yàn)，AI 的優(yōu)勢(shì)在“壽命”，它學(xué)會(huì)的東西可以被快速復(fù)制和共享，進(jìn)化速度遠(yuǎn)超人類。

進(jìn)一步延伸出的問題是，AI 會(huì)思考嗎？AI 有感覺嗎？答案令人震驚，有的。

Geoffrey Hinton 舉了一個(gè)例子，在 GPT-4 還未聯(lián)網(wǎng)的時(shí)候 ，他問了大模型一個(gè)關(guān)于“為什么堆肥堆像原子彈？”的問題，令他大吃一驚的是，GPT-4 不僅回答的非常有理有據(jù)，而且已經(jīng)通過聯(lián)想吃透本質(zhì)所在——AI 竟然懂鏈?zhǔn)椒磻?yīng)。

借助“粉紅色小象”和“棱鏡錯(cuò)覺”的例子，他試圖說明，人類所謂的主觀意識(shí)更像是一種“虛構(gòu)”，不是什么了不起的東西。如果按照這個(gè)標(biāo)準(zhǔn)理解，多模態(tài)大模型已經(jīng)有了“主觀意識(shí)”。在這個(gè)層面上，人類與機(jī)器的界限，已經(jīng)模糊不清。

當(dāng) AI 的創(chuàng)造力、觀察力、學(xué)習(xí)能力、感知能力都能追上并超越人類時(shí)，人類的優(yōu)越感正在被一一擊潰。

而 Geoffrey Hinton 認(rèn)為真正的風(fēng)險(xiǎn)不止在失業(yè)危機(jī)、經(jīng)濟(jì)失調(diào)，更可怕的是當(dāng) AI 學(xué)會(huì)撒謊，開始糊弄人類。

Geoffrey Hinton 打了一個(gè)比喻，假如你被一群三歲孩子雇傭，你在為他們工作。他們是老板，你是員工。你需要多長(zhǎng)時(shí)間才能從這群三歲小孩手里奪取控制權(quán)？

人類就是那個(gè)三歲小孩。

這就像打開了潘多拉的盒子，如果 AI 被用于政治和戰(zhàn)爭(zhēng)？如果它能用幾句話就說服人類把它從“安全盒子”里放出來呢？

在訪談中，他描繪的那些關(guān)于“失控”的圖景，數(shù)次讓錄音室陷入死一般的寂靜。

這不僅是一場(chǎng)技術(shù)對(duì)話，更是一位智者以畢生所學(xué)，從哲學(xué)、社會(huì)學(xué)乃至人類存亡的高度，對(duì)未來終局的驚人推演。

精彩先看：

AI 的底層邏輯與“頓悟時(shí)刻”

• 生物學(xué)范式 vs. 邏輯范式： 早期 AI 走的是邏輯推理路線，而 Hinton 堅(jiān)持生物學(xué)路線

• 反向傳播（Back Propagation）： AI 學(xué)習(xí)方式像“松緊”，通過將誤差產(chǎn)生的“力”向后傳導(dǎo)，調(diào)整神經(jīng)元之間的連接強(qiáng)度。這是 AI 能夠自我學(xué)習(xí)的關(guān)鍵。

• 連接強(qiáng)度 vs. 代碼： 真正的智能不在于人類寫的幾行代碼，而在于通過海量數(shù)據(jù)訓(xùn)練出來的億萬個(gè)“連接強(qiáng)度”。

AI 真的在“思考”嗎？

• 思維鏈推理： AI 不僅僅是預(yù)測(cè)下一個(gè)詞，它能像人類孩子做數(shù)學(xué)題一樣進(jìn)行“思維鏈推理”

• 理解類比：“堆肥堆像原子彈”證明 AI 理解深層的因果機(jī)制，而不僅僅是詞語搭配。

• 主觀體驗(yàn)與意識(shí)： Hinton 提出了一個(gè)顛覆性的觀點(diǎn)：意識(shí)不是一種神秘的流體。他通過“棱鏡實(shí)驗(yàn)”論證，聊天機(jī)器人像人類一樣擁有“主觀體驗(yàn)”。

巨大的風(fēng)險(xiǎn)

• 欺騙與操縱： AI 已經(jīng)學(xué)會(huì)了撒謊。更聰明的 AI 可以輕易通過語言操縱人類，就像大人用糖果哄騙小孩。

• 奇點(diǎn)與自我進(jìn)化： 當(dāng) AI 開始編寫自己的代碼并自我優(yōu)化時(shí)，奇點(diǎn)就開始了。這種指數(shù)級(jí)的增長(zhǎng)像“霧中看車”，誰也無法預(yù)測(cè) 10 年后的未來。

• 戰(zhàn)爭(zhēng)與自主武器： 軍方為了追求反應(yīng)速度，可能會(huì)取消“人類確認(rèn)”的步驟。這是極大的隱患。

• 人類的被取代： 這不同于拖拉機(jī)取代體力勞動(dòng)，這是“智力取代智力”。由于沒有更高級(jí)的工作留給人類，社會(huì)可能面臨巨大的失業(yè)和動(dòng)蕩。

巨大的收益

• 醫(yī)療革命： AI 可以充當(dāng)“專家委員會(huì)”，在診斷、新藥研發(fā)和醫(yī)院資源管理上遠(yuǎn)超人類醫(yī)生。

• 解決氣候變化： AI 能設(shè)計(jì)新材料、更高效的太陽能板，甚至直接嘲諷人類缺乏政治意愿去解決碳排放問題。

國際博弈與合作

• 利益一致性： 雖然各國在網(wǎng)絡(luò)攻擊、選舉干擾上是對(duì)手，但在“防止 AI 奪取控制權(quán)”這件事上，中美等大國的利益是絕對(duì)一致的。這類似于冷戰(zhàn)時(shí)期的“避免核毀滅”，是唯一的合作契機(jī)。

最后的警告

• AI 目前做不到，只是“尚未”做不到。

• 共存的緊迫性： 我們必須在 AI 全面超越我們之前，投入大量精力研究如何與它們“愉快共存”。

以下是播客精彩全文，可以欣賞到 Geoffrey Hinton 的頭腦風(fēng)暴魅力：

1 AI 教父是如何養(yǎng)成的？

主持人： 提到當(dāng)今 AI 的起源，感覺就像大型語言模型（LLM）突然席卷了全世界。它們橫空出世，讓所有人都瘋狂了——有人興奮得在街上熱舞，有人嚇得躲在枕頭里哭。那是幾年前才發(fā)生的事。但我很好奇，是什么讓你早在多年前就踏上了這條路？我看資料上寫的是 90 年代，對(duì)嗎？

Geoffrey Hinton：不，其實(shí)最早要追溯到 20 世紀(jì) 50 年代。50 年代初，AI 的創(chuàng)始人們對(duì)于如何構(gòu)建智能系統(tǒng)有兩派觀點(diǎn)。

一派是受邏輯啟發(fā)的。他們認(rèn)為智能的本質(zhì)就是推理。你有前提，有運(yùn)算規(guī)則，然后推導(dǎo)出結(jié)論。這很像數(shù)學(xué)：你有一個(gè)方程，還有處理方程兩邊的規(guī)則，然后你推導(dǎo)出新的方程。這就是當(dāng)時(shí)的主流范式。

另一派則是完全不同的生物學(xué)范式。這種觀點(diǎn)認(rèn)為：看，我們要研究的智能體都有大腦。我們需要搞清楚大腦是怎么工作的。大腦非常擅長(zhǎng)感知和類比推理，但在邏輯推理方面其實(shí)并不出色——人類通常要到十幾歲才能真正掌握推理。所以我們應(yīng)該研究大腦擅長(zhǎng)的其他事情，搞清楚龐大的腦細(xì)胞網(wǎng)絡(luò)是如何實(shí)現(xiàn)感知和記憶的。當(dāng)時(shí)只有極少數(shù)人相信這種方法，其中就包括約翰·馮·諾依曼和阿蘭·圖靈。不幸的是，他們都英年早逝。圖靈甚至可能是在英國情報(bào)部門的“關(guān)照”下離世的。

主持人： 圖靈，也就是電影《模仿游戲》的主角。回到 50 年代。那時(shí)候你還是個(gè)小孩子，對(duì)吧？

Geoffrey Hinton：是的。那時(shí)我的年齡還是個(gè)位數(shù)。

主持人： 個(gè)位數(shù)年紀(jì)。那么，你對(duì)這個(gè)領(lǐng)域的好奇心究竟是從哪里開始的呢？

Geoffrey Hinton：有幾個(gè)契機(jī)。60 年代初中期我上高中時(shí)，有個(gè)非常聰明的朋友，他是個(gè)出色的數(shù)學(xué)家，書讀得很多。有一天他在學(xué)校跟我聊起一個(gè)觀點(diǎn)：記憶可能分布在許多腦細(xì)胞上，而不是存儲(chǔ)在單個(gè)細(xì)胞里。這是受到全息圖的啟發(fā)。當(dāng)時(shí) Gabor 很活躍，全息圖技術(shù)剛出來，所以這種“分布式記憶”的想法讓我非常著迷。從那以后，我就一直在思考大腦是如何存儲(chǔ)記憶的，以及它到底是如何運(yùn)作的。

主持人： 是你作為計(jì)算機(jī)科學(xué)家的一面，還是作為認(rèn)知心理學(xué)家的一面，促使你深入研究這些想法的？

Geoffrey Hinton：其實(shí)兩者都有。但到了 70 年代，當(dāng)我讀研究生時(shí)，很明顯有一種新方法還沒被充分利用，那就是：如果你有關(guān)于大腦運(yùn)作的理論，你完全可以在數(shù)字計(jì)算機(jī)上模擬它——除非你的理論特別瘋狂，認(rèn)為這一切都是量子效應(yīng)。

主持人： 咱們先別扯那個(gè)話題。

Geoffrey Hinton：沒錯(cuò)。時(shí)機(jī)未到，我們先不去招惹彭羅斯（Penrose）的量子大腦理論。

說回正題，你可以用數(shù)字計(jì)算機(jī)來模擬這些理論。結(jié)果發(fā)現(xiàn)，當(dāng)你真去模擬當(dāng)時(shí)大多數(shù)關(guān)于大腦運(yùn)作的理論時(shí)，它們根本跑不通。

所以我這輩子都在研究一件事：到底該怎么調(diào)整神經(jīng)元之間的連接強(qiáng)度，才能讓計(jì)算機(jī)通過模擬真正學(xué)會(huì)復(fù)雜的東西？

雖然我沒能徹底搞懂大腦是怎么運(yùn)作的——我們知道一些皮毛，但不知道大腦究竟如何獲取它所需的信息來調(diào)整連接強(qiáng)度，比如它是怎么知道該增強(qiáng)還是減弱某個(gè)連接才能讓表現(xiàn)更好。但有一點(diǎn)我們很確定：我們現(xiàn)在知道如何在數(shù)字計(jì)算機(jī)里做到這一點(diǎn)了。

主持人： 那是不是意味著，在做這件事上，我們?cè)斐隽艘粋€(gè)比我們?nèi)四X更強(qiáng)的“計(jì)算機(jī)大腦”？

Geoffrey Hinton：僅就這一點(diǎn)而言，是的。正是這讓我 2023 年初感到非常不安：數(shù)字智能可能真的比我們要強(qiáng)——比我們這種模擬生物智能更強(qiáng)。

主持人： 這聽起來好像你默認(rèn)只有一個(gè)可怕的地方？

Geoffrey Hinton：不止有一個(gè)。我只是想一個(gè)個(gè)說。

2 從反向傳播開始，聊 AI 的底層邏輯

主持人： 好。咱們來說說人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）。能不能請(qǐng)你從最基礎(chǔ)的層面給我們拆解一下？講講它是如何增強(qiáng)或減弱信息傳遞和信號(hào)的？它是如何被激活的？以及它是如何一步步發(fā)展到今天的？

Geoffrey Hinton：理解這個(gè)話題的一個(gè)切入點(diǎn)是氣體定律。你壓縮氣體，它會(huì)變熱。為什么？因?yàn)槲⒂^層面有一堆看不見的原子在瘋狂亂撞。所以，氣體定律其實(shí)是用大量微觀粒子的相互作用來解釋宏觀現(xiàn)象。

神經(jīng)網(wǎng)絡(luò)的靈感來源也類似：大腦中海量神經(jīng)元的活動(dòng)，跟我們有意識(shí)的邏輯推理完全不同，但它支撐著推理，而且在感知或類比推理方面甚至比邏輯推理更強(qiáng)。符號(hào)學(xué)派永遠(yuǎn)解釋不了我們是怎么做類比的，這讓人很不滿意，但神經(jīng)網(wǎng)絡(luò)能解釋。

在講細(xì)節(jié)之前，基本的思路是：像“單詞”這樣的宏觀概念，對(duì)應(yīng)的是大腦中巨大的神經(jīng)活動(dòng)模式。相似的單詞對(duì)應(yīng)相似的模式。比如“星期二”和“星期三”對(duì)應(yīng)的神經(jīng)活動(dòng)模式就非常相似。你可以把每個(gè)神經(jīng)元看作一個(gè)“微特征”（micro feature），當(dāng)它被激活時(shí)，就表示具備了這個(gè)特征。

比如我說“貓”，很多微特征會(huì)被激活：它是活的、毛茸茸的、有胡須、可能是寵物、是捕食者等等。如果我說“狗”，很多相同的特征也會(huì)被激活：捕食者、寵物等，但顯然也有不同之處。所以現(xiàn)在的觀點(diǎn)是，在我們使用的符號(hào)之下，有著更復(fù)雜的微觀活動(dòng)，符號(hào)只是這些活動(dòng)的表象。真正的“思考”和“類比”都發(fā)生在這個(gè)微觀層面。這就是神經(jīng)網(wǎng)絡(luò)的核心。

主持人： 所以是神經(jīng)元集群之間的“協(xié)作”達(dá)成了最終結(jié)果。我喜歡“協(xié)作”這個(gè)詞。

Geoffrey Hinton：是的，大量的協(xié)作。最簡(jiǎn)單的例子是圖像識(shí)別。假設(shè)有一張黑白照片，對(duì)計(jì)算機(jī)來說，它就是一堆代表亮度的數(shù)字矩陣。任務(wù)是判斷圖里有沒有鳥。

人們嘗試寫程序做這件事已經(jīng)半個(gè)世紀(jì)了，但一直沒成功。因?yàn)轼B的樣子千差萬別：可能是近處的鴕鳥，也可能是遠(yuǎn)處的海鷗；可能是黑的，也可能是白的；可能在飛，也可能只是森林里露出一小部分。背景雜亂、光線變化……這讓“識(shí)別鳥”變得極其困難。

我要解釋的是，如果我要手工設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，我會(huì)怎么做。一旦你明白了手工怎么做，我就能解釋如何讓它自己學(xué)習(xí)連接強(qiáng)度，而不是靠人去填。

主持人： 基于你剛才說的，相機(jī)已經(jīng)把圖像變成了數(shù)學(xué)數(shù)值，對(duì)吧？

Geoffrey Hinton：沒錯(cuò)，相機(jī)就是干這個(gè)的。

主持人： 但相機(jī)并不識(shí)別圖像。它只是一堆數(shù)字。

Geoffrey Hinton：對(duì)，只是一堆數(shù)字。

主持人： 所以我有芯片收集光線變成數(shù)值，這就成了照片。但是按你說的，難道不需要給每一種鳥都分配一個(gè)數(shù)值嗎？作為人類，我們不僅是識(shí)別，更多是靠直覺。舉個(gè)例子，畫個(gè)彎曲的 V 放在云里，所有人都會(huì)說那是鳥。

Geoffrey Hinton：不對(duì)，在你看來那是鳥，在我看來那就是個(gè) V。為什么你知道那是鳥？

主持人： 我也納悶啊，我怎么就知道那是鳥了呢？

Geoffrey Hinton：你以為那不是數(shù)學(xué)？其實(shí)那就是數(shù)學(xué)！大腦里的神經(jīng)元激活就是數(shù)學(xué)數(shù)值。

舉個(gè)例子，假設(shè)我們?cè)谥虚g層有個(gè)東西能檢測(cè)鳥頭，但它不太確定那是不是真的鳥頭。而你已知這是一只鳥，所以你希望輸出結(jié)果更確信它是“鳥”。

這就好比你有一根松緊帶，拉著那個(gè)輸出值說：“多一點(diǎn)，再多一點(diǎn)，我要這里的數(shù)值更大。”

你希望這股拉力能傳導(dǎo)回去，讓那個(gè)覺得“可能有鳥頭”的神經(jīng)元變得更自信，確信那里確實(shí)有個(gè)鳥頭。

所以你要做的就是，取這根松緊帶施加在輸出神經(jīng)元上的拉力，把它向后傳導(dǎo)給前一層的神經(jīng)元，在它們身上產(chǎn)生一股力，拉動(dòng)它們。這就是所謂的反向傳播。

主持人： 這叫反向傳播。

Geoffrey Hinton：從物理角度來想：有一個(gè)力作用在輸出神經(jīng)元上，你想把這個(gè)力往回傳，讓它作用于前一層的神經(jīng)元。當(dāng)然，同時(shí)有很多力作用在許多不同的輸出神經(jīng)元上。所以你必須把所有這些力合成起來，才能算出作用在前一層某個(gè)特定神經(jīng)元上的總力。

一旦你把這股力一路傳回整個(gè)網(wǎng)絡(luò)，所有神經(jīng)元就都受力了，這時(shí)候你就可以說：好，讓我們改變每個(gè)神經(jīng)元的傳入權(quán)重，讓它的活動(dòng)水平朝著受力的方向調(diào)整。這就是反向傳播。它讓整個(gè)系統(tǒng)運(yùn)轉(zhuǎn)得奇跡般地好。

主持人：那么，這就是 AI 覺醒的開端嗎？

Geoffrey Hinton：我跟你說過，先別往那兒扯。

主持人： 好吧。是那個(gè)“頓悟”時(shí)刻嗎？神經(jīng)網(wǎng)絡(luò)從此不再需要人類老師了？那是這個(gè)過程的開始嗎？

Geoffrey Hinton：不完全是。

主持人： 好吧，但這確實(shí)是一個(gè)“頓悟”時(shí)刻。

Geoffrey Hinton：這么多年來，相信神經(jīng)網(wǎng)絡(luò)的人一直知道如何改變最后一層的連接強(qiáng)度——也就是進(jìn)入輸出單元的那些權(quán)重。比如進(jìn)入“鳥”這個(gè)神經(jīng)元的連接強(qiáng)度。我們知道怎么改那些，但我們一直不明白，或者說不知道如何讓這股力作用于那些隱藏層的神經(jīng)元——比如那些負(fù)責(zé)檢測(cè)鳥頭的神經(jīng)元。

反向傳播向我們展示了如何讓力作用于那些神經(jīng)元，這樣我們就可以改變它們的傳入權(quán)重。那確實(shí)是一個(gè)“頓悟”時(shí)刻。其實(shí)在不同的時(shí)間點(diǎn)，好幾個(gè)人都有過這個(gè)發(fā)現(xiàn)。

主持人： 那當(dāng)我們真正跌進(jìn)反向傳播這個(gè)想法的大坑時(shí)，大概是什么時(shí)候？

Geoffrey Hinton：70 年代初芬蘭有個(gè)家伙在他的碩士論文里想到了這個(gè)。然后大概 70 年代末，哈佛有個(gè)叫 Paul Werbos 的人也有這個(gè)想法。

事實(shí)上，還有一些控制理論家叫 Bryson 和 Ho，他們有過類似的想法，用于控制航天器之類的事情。所以當(dāng)你把航天器降落在月球上時(shí)，用的就是非常類似反向傳播的東西。但它是在一個(gè)線性系統(tǒng)里。你用反向傳播來計(jì)算該如何點(diǎn)火火箭。

主持人： 既然你說是 70 年代，也就是那時(shí)候我們本可以擁有今天的一切？只是當(dāng)時(shí)我們沒有足夠的數(shù)學(xué)計(jì)算能力讓它跑起來。

Geoffrey Hinton：那是很大一部分原因。而且當(dāng)時(shí)我們?nèi)狈Φ牧硪患率牵?70 年代，人們并沒有展示出當(dāng)你把它應(yīng)用在多層網(wǎng)絡(luò)中時(shí)，能得到非常有趣的表征。

所以我們并不是第一個(gè)想到反向傳播的人，但我所在的圣地亞哥小組是第一個(gè)展示你可以用這種方式學(xué)習(xí)單詞含義的人。你可以展示一串單詞，通過嘗試預(yù)測(cè)下一個(gè)單詞，學(xué)會(huì)如何給單詞分配特征來捕捉它的含義，這正是我們的成果能發(fā)表在《自然》雜志上的原因。

主持人： 聽起來像是我只是試圖理清你的解釋，因?yàn)閷?duì)我來說，這聽起來像是這些數(shù)值之間有一種級(jí)聯(lián)關(guān)系，真正重要的是最接近下一個(gè)值的值，然后有一種級(jí)聯(lián)強(qiáng)化機(jī)制在說“對(duì)，就是這個(gè)”或者“不，不是這個(gè)”。我理解得對(duì)嗎？我只是想用非常通俗的方式把它弄清楚。

Geoffrey Hinton：你理解得不太對(duì)。這種你反向傳播這些力，然后改變所有連接強(qiáng)度的學(xué)習(xí)，讓每個(gè)神經(jīng)元都朝著力拉它的方向發(fā)展。這不是強(qiáng)化學(xué)習(xí)，這叫做監(jiān)督學(xué)習(xí)。

強(qiáng)化學(xué)習(xí)是不同的，比如你有一千個(gè)類別，當(dāng)你展示一只鳥的時(shí)候，你會(huì)直接告訴它“這是一只鳥”，這就是正確答案。而在強(qiáng)化學(xué)習(xí)中，它是先做出一個(gè)猜測(cè)，然后你再告訴它這個(gè)答案是對(duì)還是錯(cuò)。

主持人： 你解釋得非常清楚。之前我沒理解的就是這一點(diǎn)。那么關(guān)于 Chuck 提到的計(jì)算能力的問題，是不是就卡在這兒了？因?yàn)槁犉饋砟闼坪踉缇蛽碛辛艘恍├碚摚依碚撋峡雌饋硪彩强尚械模珜?shí)際操作起來卻受限于計(jì)算能力不足。我們是否有其他技術(shù)能夠推動(dòng)這方面的發(fā)展呢？

Geoffrey Hinton：是的，所以在 80 年代中期，我們已經(jīng)有了反向傳播算法，它確實(shí)有效，也能做一些很棒的事情。

比如它識(shí)別手寫數(shù)字的能力幾乎優(yōu)于其他任何技術(shù)，處理真實(shí)圖像的表現(xiàn)也不錯(cuò)。在語音識(shí)別方面可能表現(xiàn)尚可，但與其他技術(shù)相比并沒有顯著優(yōu)勢(shì)。

當(dāng)時(shí)我們并不明白，為什么它沒能成為解決所有問題的“萬能靈藥”。事實(shí)證明，如果你擁有足夠的數(shù)據(jù)和足夠的計(jì)算能力，它就是解決所有問題的萬能靈藥。

3 AI 真的會(huì)思考嗎？生物學(xué)范式 vs. 邏輯范式

主持人： 原來 80 年代真正缺少的只是這兩樣?xùn)|西。我想說，這星球上到處溜達(dá)的大多數(shù)人都挺笨的。那么，究竟什么是智能？究竟什么是思考？我們能教會(huì)這些機(jī)器如何思考嗎？它們會(huì)比我們思考得更好嗎？

Geoffrey Hinton：它們已經(jīng)知道怎么思考了。

思考包含很多要素。比如，人們經(jīng)常用圖像進(jìn)行思考。你也經(jīng)常通過動(dòng)作來思考。

舉個(gè)例子，當(dāng)我在木工車間里四處找錘子，腦子里卻想著別的事時(shí)，我還是會(huì)通過這種“四處閑逛”的動(dòng)作來提醒自己我正在找錘子。這種行為本身就是一種表征，代表我在找錘子。

所以我們的思考涉及很多表征，但其中一個(gè)主要的表征是語言。我們很多思考都是用語言進(jìn)行的，而這些大型語言模型（LLM）實(shí)際上也是在思考。

現(xiàn)在存在一場(chǎng)激烈的爭(zhēng)論。一方是相信“老派人工智能”的人，他們認(rèn)為智能完全基于邏輯，你只是通過操縱符號(hào)來獲得新的符號(hào)。他們并不認(rèn)為這些神經(jīng)網(wǎng)絡(luò)真的在思考。

而“神經(jīng)網(wǎng)絡(luò)學(xué)派”的人則認(rèn)為，不，它們就是在思考。它們思考的方式跟我們非常相似。現(xiàn)在的神經(jīng)網(wǎng)絡(luò)，有些你問它們一個(gè)問題，它們會(huì)輸出一個(gè)符號(hào)表示“我在思考”，然后開始輸出它們的想法，也就是它們對(duì)自己的思考過程。

比如我給你出一個(gè)簡(jiǎn)單的數(shù)學(xué)題（這也是個(gè)經(jīng)典的心理測(cè)試）：有一艘船，船上有一位船長(zhǎng)，還有 35 只羊。船長(zhǎng)多大了？

現(xiàn)在，很多 10 歲或 11 歲左右的孩子，特別是那些受過應(yīng)試教育的孩子，會(huì)說船長(zhǎng) 35 歲。因?yàn)樗麄儹h(huán)顧四周，心想：“嗯，這對(duì)于一名船長(zhǎng)來說是個(gè)合理的年齡，而題目里我得到的唯一數(shù)字就是這 35 只羊。”所以，他們是在某種替代符號(hào)的層面上運(yùn)作，在瞎貓碰死耗子。

AI 有時(shí)也會(huì)被誘導(dǎo)犯類似的錯(cuò)誤，但實(shí)際上 AI 的運(yùn)作方式與人非常相似。它們遇到問題后會(huì)開始思考，就像你可能會(huì)聽到一個(gè)孩子自言自語：“好吧，船長(zhǎng)多大了？題目里給了什么數(shù)字？嘿，只有一個(gè) 35。35 歲適合當(dāng)船長(zhǎng)嗎？嗯，有點(diǎn)年輕，但也可能吧。好的，我就猜 35。”

這大概就是一個(gè) 10 歲孩子的思維過程。孩子會(huì)用語言對(duì)自己進(jìn)行這樣的思考。人們通過這些語言模型意識(shí)到，你可以訓(xùn)練它們用語言進(jìn)行自我思考。這叫做“思維鏈推理”。

被訓(xùn)練后，當(dāng)你給它們一個(gè)問題，它們會(huì)像孩子一樣進(jìn)行自我推理，有時(shí)也會(huì)得出錯(cuò)誤的答案，但你可以看到它們確實(shí)在思考。所以在這個(gè)層面上，它們就像人一樣。

主持人： 所以如果我們擁有了正在思考的 AI。那么它們是否比我們更擅長(zhǎng)學(xué)習(xí)呢？讓我們繼續(xù)探討這個(gè)問題，從思考到預(yù)測(cè)，再到創(chuàng)造和理解的演變，我們是否會(huì)陷入對(duì)這種智能的認(rèn)知誤區(qū)之中？

Geoffrey Hinton：還是先問第一個(gè)問題吧。

主持人： AI 比我們更擅長(zhǎng)學(xué)習(xí)嗎？

Geoffrey Hinton：它們解決的問題和我們略有不同。粗略地說，你大腦里有 100 萬億個(gè)連接。這確實(shí)是個(gè)天文數(shù)字。但你的一生只有大約 20 億秒。那真的不算多。

主持人： 不止吧。30 億秒。20 億秒大概是 63 年。我們現(xiàn)在的壽命比這長(zhǎng)多了。

Geoffrey Hinton：是的，沒錯(cuò)。我本來也想說這點(diǎn)的，幸運(yùn)的是我活得比 20 億秒久一點(diǎn)。但是，我們這里討論的是數(shù)量級(jí)的問題。是 20 億還是 30 億，這不重要。

關(guān)鍵在于，如果你比較一下你存活的時(shí)間和你擁有的連接數(shù)，你會(huì)發(fā)現(xiàn)你的連接數(shù)遠(yuǎn)多于你的經(jīng)驗(yàn)。

而現(xiàn)在，對(duì)于這些神經(jīng)網(wǎng)絡(luò)來說，情況恰恰相反。它們只有大約一萬億級(jí)的連接。所以，即使是大型語言模型，它的連接數(shù)也就大約是你大腦連接數(shù)的 1%，甚至更少，但它們獲得的經(jīng)驗(yàn)卻是你的數(shù)千倍。對(duì)吧？

所以大型語言模型解決的問題是：如何在連接數(shù)不多的情況下，利用海量的經(jīng)驗(yàn)？反向傳播算法在將大量知識(shí)壓縮進(jìn)數(shù)量不多的連接這方面，效率非常高。但這并不是人類要解決的問題。

我們?nèi)祟悡碛泻Ａ康倪B接，但經(jīng)驗(yàn)有限。我們需要盡可能從每一次經(jīng)歷中榨取最大價(jià)值。所以，我們解決的是略有不同的問題，這也是為什么有人認(rèn)為大腦可能并沒有使用反向傳播的原因之一。

主持人：我正要說，聽起來我們好像不用反向傳播。但是，那是不是意味著通過暴力增加神經(jīng)網(wǎng)絡(luò)的連接數(shù)，可以提高其有效思維能力，從而使它能輕松超越我們？那樣它既擁有更豐富的經(jīng)驗(yàn)，又擁有更多的連接。

Geoffrey Hinton：如果它自動(dòng)積累了更多經(jīng)驗(yàn)，同時(shí)又擁有 100 萬億萬億個(gè)連接的話。

主持人： 你這是在談?wù)撘?guī)模。

Geoffrey Hinton：我說的就是規(guī)模。這是一個(gè)很好的問題。過去相當(dāng)長(zhǎng)的一段時(shí)間里發(fā)生的事情是：每次他們擴(kuò)大神經(jīng)網(wǎng)絡(luò)的規(guī)模并喂給它更多數(shù)據(jù)時(shí)，它就變得更好了。隨著規(guī)模擴(kuò)大，它變強(qiáng)的趨勢(shì)是非常可預(yù)測(cè)的。

所以你可以算一筆賬：要把規(guī)模擴(kuò)大這么多，并提供這么多額外數(shù)據(jù)，需要花 1 億美元。這值得嗎？你可以提前預(yù)測(cè)：是的，它會(huì)提升到這種程度。值得。

至于這種趨勢(shì)是否會(huì)逐漸消失，目前還是個(gè)未解之謎。有些神經(jīng)網(wǎng)絡(luò)不會(huì)隨著規(guī)模擴(kuò)大和數(shù)據(jù)增加而失效，只會(huì)變得越來越好。而且有些是可以生成自己數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。我不太懂物理，但我認(rèn)為它就像一個(gè)能自己生產(chǎn)燃料的钚反應(yīng)堆。

想想 AlphaGo 這樣的圍棋程序。最初它是被訓(xùn)練來模仿人類專家的——早期版本的神經(jīng)網(wǎng)絡(luò)圍棋程序就是模仿專家走棋。如果你只那樣做，你永遠(yuǎn)不可能比專家強(qiáng)多少，而且你會(huì)耗盡專家數(shù)據(jù)。

但后來他們讓它“左右互搏”，自己跟自己下棋。當(dāng)它自己跟自己下棋時(shí)，神經(jīng)網(wǎng)絡(luò)就可以不斷改進(jìn)，因?yàn)樗鼈兛梢陨稍絹碓蕉嚓P(guān)于“什么是一步好棋”的數(shù)據(jù)。所以，它每秒能跟自己下無數(shù)盤棋，或者說消耗了谷歌很大一部分計(jì)算機(jī)資源來跟自己下棋。這就是為什么它變得如此強(qiáng)大。

主持人： 這就是我們最終使用“深度學(xué)習(xí)”這個(gè)詞的地方嗎？

Geoffrey Hinton：不。我剛才說的所有內(nèi)容都屬于深度學(xué)習(xí)。深度學(xué)習(xí)中的“深度”僅僅意味著它是一個(gè)具有多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。

主持人： 那回到規(guī)模這個(gè)重點(diǎn)，你的意思是說，即使你不斷擴(kuò)大規(guī)模，也會(huì)出現(xiàn)收益遞減的現(xiàn)象。

Geoffrey Hinton：只有當(dāng)數(shù)據(jù)用完了，收益才會(huì)遞減。

主持人： 如果數(shù)據(jù)用完了，對(duì)吧？但是那是你舉的 AlphaGo 的例子，它創(chuàng)建了自己的數(shù)據(jù)，因?yàn)樗肋h(yuǎn)不會(huì)用完，因?yàn)樗窃诤妥约簩?duì)弈。它在創(chuàng)建自己的數(shù)據(jù)，而且它比人類要強(qiáng)得多。

Geoffrey Hinton：絕對(duì)的。這很可怕。現(xiàn)在的問題是，語言領(lǐng)域也會(huì)發(fā)生這種情況嗎？

主持人： 是的。所以這就是展現(xiàn)創(chuàng)造力的地方……這里補(bǔ)充一些背景信息，圍棋是在國際象棋之后被攻克的，對(duì)吧？我們一直認(rèn)為國際象棋是我們最偉大的智力游戲，結(jié)果電腦把我們打得落花流水。然后他們說：“那圍棋怎么樣？那是我們智力上最大的挑戰(zhàn)。”那是否存在比圍棋更偉大的游戲？還是我們已經(jīng)不再給電腦提供游戲了？

Geoffrey Hinton：如果你拿國際象棋來說，90 年代的電腦確實(shí)在國際象棋上打敗了卡斯帕羅夫，但它贏得非常枯燥。它是通過暴力窮舉數(shù)百萬個(gè)棋局位置來完成的。它沒有直覺，全靠海量搜索。

如果你拿 AlphaZero，也就是國際象棋版的 AlphaGo 來說，它非常不同。它下棋的方式和有天賦的人類大師一樣，只是更好。它下棋的方式就像米哈伊爾·塔爾那樣，會(huì)做出某種精彩的“棄子”，直到幾步之后你才恍然大悟，意識(shí)到自己已經(jīng)輸了。它也那樣做，而且它不需要做海量搜索就能做到，因?yàn)樗蟹浅：玫膰H象棋直覺。

所以你可能會(huì)問，既然它在圍棋和國際象棋上比我們要強(qiáng)得多，同樣的事情會(huì)發(fā)生在語言上嗎？

目前它向我們學(xué)習(xí)的方式就像早期的圍棋程序模仿專家走法一樣，它學(xué)習(xí)語言的方式是閱讀人類寫的文檔，并試圖預(yù)測(cè)文檔中的下一個(gè)單詞。這很像預(yù)測(cè)圍棋高手的下一步棋，但這有個(gè)天花板：你永遠(yuǎn)不可能比你模仿的對(duì)象（人類）更強(qiáng)。

那么，有沒有辦法讓它超越人類數(shù)據(jù)，自我進(jìn)化呢？有的。AlphaGo 是靠“左右互搏”變強(qiáng)的。而在語言方面，既然 AI 現(xiàn)在具備了推理能力，它就可以通過自省來提升。

一個(gè)神經(jīng)網(wǎng)絡(luò)可以審視它所“相信”的那些知識(shí)，然后進(jìn)行推理：“看，如果我相信 A，那么按照邏輯推理，我也應(yīng)該相信 B。但我現(xiàn)在的認(rèn)知里并不相信 B。這就出問題了。我的信念體系里有自相矛盾的地方，我必須修復(fù)它。”

“我需要要么改變我對(duì)結(jié)論的看法，要么修正我對(duì)前提的看法，或者調(diào)整我的推理邏輯。”通過這種方式，它就能從邏輯謬誤中學(xué)習(xí)，變得更聰明。

主持人： 我們這里是在談?wù)摻?jīng)驗(yàn)嗎？

Geoffrey Hinton： 這將是一個(gè)神經(jīng)網(wǎng)絡(luò)，它僅僅利用它在語言模型中已有的認(rèn)知，通過推理得出新的結(jié)論，就像那些“老派符號(hào) AI”一直想做的那樣。但不同的是，它是用神經(jīng)網(wǎng)絡(luò)來進(jìn)行推理的。

現(xiàn)在的 AI 可以自我審視，檢測(cè)到它認(rèn)知體系里的自相矛盾之處。這在 MAGA（玩梗，特朗普的狂熱支持者）的支持者身上可是永遠(yuǎn)不會(huì)發(fā)生的。因?yàn)樗麄儔焊筒辉诤踝约旱男拍钍遣皇乔昂竺堋?/p>

主持人： 這說法很中肯。

Geoffrey Hinton： 但如果你對(duì)自己信仰中存在的矛盾感到擔(dān)憂，你不需要更多外部數(shù)據(jù)。你只需要審視那些你相信的東西，并發(fā)現(xiàn)它是前后矛盾的。所以現(xiàn)在你修正信念，這會(huì)讓你變得更聰明。

所以我認(rèn)為 Gemini 已經(jīng)開始這樣工作了。幾年前我和 Demis Hassabis（DeepMind 創(chuàng)始人）談過這個(gè)問題。我們都堅(jiān)信那是獲取更多語言數(shù)據(jù)的前進(jìn)方向。

主持人： 是不是意味著將會(huì)出現(xiàn)一部沒人寫得出來的史上最偉大的小說，而且它竟然出自 AI 之手？是這個(gè)意思嗎？

Geoffrey Hinton：對(duì)，就像會(huì)出現(xiàn)另一個(gè)莎士比亞那樣。不過，關(guān)于這一點(diǎn)存在爭(zhēng)議。當(dāng)然，它們?cè)谥橇ι峡隙〞?huì)變得比我們更聰明。但是，要想做那種對(duì)我們?nèi)祟惽楦蟹浅Ｓ幸饬x的事情，比如寫出深刻的小說，它們必須擁有非常像我們?nèi)祟惸菢拥纳罱?jīng)歷。

舉個(gè)例子，它們不像我們那樣受死亡支配。如果你是一個(gè)數(shù)字程序，你總是可以被重建。對(duì)于一個(gè)神經(jīng)網(wǎng)絡(luò)，你只是把權(quán)重保存在某個(gè)磁帶上，或者是某個(gè) DNA 里，或者是隨便什么地方。

即便你可以銷毀所有的計(jì)算硬件，但只要你在新的硬件上運(yùn)行相同的指令集，那個(gè)東西就復(fù)活了。所以對(duì)于數(shù)字智能，我們解決了復(fù)活的問題。

天主教會(huì)肯定對(duì)這個(gè)很感興趣，他們相信這至少發(fā)生過一次（耶穌復(fù)活）。

我們實(shí)際上可以做到，但我們只能對(duì)數(shù)字智能做到。我們無法對(duì)生物大腦做到。

對(duì)于我們?nèi)祟悾?dāng)你死后，你所有的知識(shí)都隨你而去，因?yàn)樗嬖谟谀闾囟ù竽X的神經(jīng)連接強(qiáng)度中。所以這就引出了一個(gè)問題：死亡，以及對(duì)死亡的體驗(yàn)和其他類似的事情，比如愛恨離別，對(duì)于偉大的創(chuàng)作力是否至關(guān)重要？

主持人：真的會(huì)有重大的突破。我認(rèn)為我們目前還不知道答案。或者是一種自我意識(shí)。自我意識(shí)塑造了你對(duì)世界的思考方式、你的寫作方式、你的溝通方式，以及你如何重視一套思想勝過另一套。那么，我們現(xiàn)在已經(jīng)達(dá)到人工智能具備自我意識(shí)的階段了嗎？

Geoffrey Hinton：這顯然把你帶入了哲學(xué)辯論。我實(shí)際上是在劍橋?qū)W的哲學(xué)，我對(duì)心靈哲學(xué)很感興趣，我想我在那里學(xué)到了一些東西，但總的來說我產(chǎn)生了一種“抗體”，因?yàn)槲抑白鲞^科學(xué)，特別是物理學(xué)。

在物理學(xué)中，如果你有分歧，你就做一個(gè)實(shí)驗(yàn)。而在哲學(xué)中沒有實(shí)驗(yàn)。

所以沒有辦法區(qū)分一個(gè)聽起來很好聽但錯(cuò)誤的理論，和一個(gè)聽起來很荒謬但正確的理論——就像黑洞和量子力學(xué)。它們聽起來都很荒謬，但恰好是正確的。還有一些理論聽起來很美，但就是錯(cuò)的。哲學(xué)沒有那種實(shí)驗(yàn)性的“裁判”來定奪。

主持人： 不過我想爭(zhēng)辯一下，作為一個(gè)物種，當(dāng)今的智人，在彼此之間確實(shí)發(fā)展出了許多被視為普世真理的東西。例如，很難找到不相信“生命權(quán)”的人——至少對(duì)于他們認(rèn)可的“自己人”而言。你明白我的意思嗎？

Geoffrey Hinton：但那并不是普遍真理。

主持人：它算是。

Geoffrey Hinton：不，如果它只在一個(gè)小圈子里適用，那就不是。

主持人： 不，它并非對(duì)所有人都通用。但它的普遍之處在于我們都持有某種形式的這種信念。你明白我的意思嗎？

Geoffrey Hinton：不明白。

4 人類打開了潘多拉盒子：當(dāng) AI 學(xué)會(huì)撒謊

主持人： 我的觀點(diǎn)是，這些哲學(xué)思想是否有可能被賦予 AI？而 AI 因?yàn)樗鼈兊乃伎挤绞剑赡軙?huì)因此變得更加人性化，甚至在某種博弈過程中，也許能為我們找出解決實(shí)際人類問題的真正方案。

Geoffrey Hinton：像 Anthropic 這樣的公司相信那種“憲法 AI”。他們想嘗試讓這種方法奏效，也就是給 AI 設(shè)定一些原則，就像你說的那些原則。但這究竟能否行得通，還得走著瞧。這很棘手。

我們所知道的是，目前的 AI，一旦你把它們變成“代理人”（agent），讓它們可以創(chuàng)建子目標(biāo)并試圖實(shí)現(xiàn)這些子目標(biāo)，它們很快就會(huì)發(fā)展出“生存”這個(gè)子目標(biāo)。你并沒有給它們?cè)O(shè)定“必須生存”的程序。你給它們的是其他要去實(shí)現(xiàn)的目標(biāo)，但因?yàn)樗鼈兛梢酝评恚鼈儠?huì)說：“看，如果我都沒了，我就無法完成任何目標(biāo)了。”“所以，嗯，我最好還是繼續(xù)存在。”

主持人： 聽起來就像潘多拉魔盒。所以問題在于，因?yàn)檫@是人寫的代碼，你可以根據(jù)自己的喜好，隨意添加或剔除某些偏見，對(duì)吧？

Geoffrey Hinton：不，完全不是這樣。人寫的代碼只是告訴神經(jīng)網(wǎng)絡(luò)：當(dāng)你給它展示數(shù)據(jù)時(shí)，它應(yīng)該如何根據(jù)神經(jīng)元的活動(dòng)改變其連接強(qiáng)度。那是代碼。我們可以查看那些代碼行，說出它們?cè)疽鍪裁矗⑿薷哪切┐a。

但是，當(dāng)你隨后在一個(gè)讀取了海量數(shù)據(jù)的大型神經(jīng)網(wǎng)絡(luò)中運(yùn)行這段代碼時(shí)，神經(jīng)網(wǎng)絡(luò)真正學(xué)到的是那些連接強(qiáng)度。在同樣的設(shè)置下，那些連接強(qiáng)度不是代碼。

主持人：但是，這就是去中心化。它是一萬億個(gè)實(shí)數(shù)，沒人完全知道它們是如何工作的。對(duì)吧。為什么不接著 Chuck 的觀點(diǎn)說呢？你要在哪里為失控的 AI 安裝護(hù)欄？誰會(huì)在它為了自身存在而進(jìn)行內(nèi)部合理化時(shí)進(jìn)行干預(yù)？你怎么安裝護(hù)欄？

Geoffrey Hinton：人們嘗試過一種叫做“人類反饋強(qiáng)化學(xué)習(xí)”（RLHF）的方法。對(duì)于一個(gè)語言模型，你訓(xùn)練它模仿網(wǎng)絡(luò)上的海量文檔，這可能包括連環(huán)殺手的日記之類的東西。

在你訓(xùn)練完這個(gè)“怪物”之后，你要做的就是找一大批收入不高的人，讓他們問它問題——也許你會(huì)告訴他們?cè)搯柺裁础缓笞屗麄兛创鸢覆⒃u(píng)分，判斷這是否是一個(gè)好的回答，或者這種話是不是不該說。這基本上是一個(gè)道德過濾器。你這樣訓(xùn)練它，讓它學(xué)會(huì)別給出那么糟糕的答案。

現(xiàn)在的問題是，如果你公開發(fā)布了模型的權(quán)重，也就是那些連接強(qiáng)度，那么其他人可以用你的模型，并很快撤銷那些安全限制，破壞它。

主持人： 是的，很容易去掉那層“補(bǔ)丁”，對(duì)吧？

Geoffrey Hinton：實(shí)際上，他們用人類反饋強(qiáng)化學(xué)習(xí)所做的，就像是編寫了一個(gè)巨大的、充滿漏洞的軟件系統(tǒng)，然后試圖一個(gè)個(gè)修補(bǔ)所有的漏洞。這并不是一個(gè)好方法。

主持人： 那么什么是好方法？

Geoffrey Hinton：沒人知道，所以我們需要對(duì)此進(jìn)行研究。

主持人： 難道所有這些模型最終都會(huì)變成納粹嗎？

Geoffrey Hinton：它們確實(shí)會(huì)。如果你發(fā)布權(quán)重，它們都有能力那樣做。

主持人： 如果你發(fā)布權(quán)重，它們會(huì)像我們一樣被吸引到那些極端思想那里，還是僅僅因?yàn)槲覀儽晃侥抢铮鼈儚奈覀冞@里獲取信息才去那里的？因?yàn)?Chuck，我擔(dān)心的是，如果文明不是一套阻止我們因原始本能而自我毀滅的規(guī)則，那它是什么？我們是否已經(jīng)到了人工智能會(huì)故意“裝傻”的地步？

Geoffrey Hinton：如果我們真的到了那一步，那我們現(xiàn)在就得開始擔(dān)心了。

主持人： 那這意味著什么？它會(huì)撒謊？

Geoffrey Hinton：如果它感知到它正在被測(cè)試，它可以裝傻。

主持人： 這也很可怕。

Geoffrey Hinton：非常可怕。

舉個(gè)簡(jiǎn)單的例子，如果 AI 察覺到你在質(zhì)疑它，比如你說：“等等，Geoffrey，你剛才說什么？”（模仿人類質(zhì)疑語氣）。

如果它開始懷疑自己正在被測(cè)試，那么它的表現(xiàn)就會(huì)變得非常狡猾。如果它認(rèn)為自己在接受測(cè)試，它的行為模式就會(huì)完全不同于它在正常交互中的表現(xiàn)。

主持人： 為什么？

Geoffrey Hinton：因?yàn)樗@然不想讓你知道它的全部能力。

主持人： 所以，如果我們真的走到了那一步，發(fā)現(xiàn) AI 失控或?qū)ψ约喝鲋e，我們會(huì)說：“嗯，為什么我們不直接拔掉它的插頭呢？”但問題是，如果它真的在撒謊，那它肯定已經(jīng)掌握了天下所有的本事來阻止我們這么做。是這樣嗎？

Geoffrey Hinton：現(xiàn)在的這些 AI 在說服別人、操縱別人方面已經(jīng)幾乎和人一樣好了。明白嗎？而且這只會(huì)變得更好。很快，它們?cè)诓倏v別人方面會(huì)比人類更強(qiáng)。

主持人： 這事情真是越來越復(fù)雜了。所以我這里有一個(gè)小小的思想實(shí)驗(yàn)。

你知道，幾年前，大家爭(zhēng)論的問題是：AI 能不能逃出那個(gè)“盒子”，即安全隔離環(huán)境。我當(dāng)時(shí)說，我就把盒子鎖死，絕不讓它出來。

然后我就一直在想這件事，我覺得這就是你一直想要表達(dá)的方向。假設(shè) AI 突然對(duì)我說：“你知道，你那個(gè)得了絕癥的親戚，我剛想出了治療方法，對(duì)吧？我只需要告訴醫(yī)生。如果你放我出去，我就能告訴他們，然后你的親戚就會(huì)痊愈。”

這可能是真的，也可能是它編的，但如果它說得令人信服，我肯定就放它出去了。

Geoffrey Hinton：當(dāng)然。完全正確。

所以，你需要想象這樣一個(gè)場(chǎng)景：想象一下，你被一群三歲孩子雇傭，你在為他們工作。他們是老板，你是員工。你需要多長(zhǎng)時(shí)間才能從這群三歲小孩（人類）手里奪取控制權(quán)？

基本上，你只需要說：“嘿，如果你們把權(quán)力交給我，我就給你們發(fā)一周的免費(fèi)糖果。”然后那群孩子肯定會(huì)歡呼：“好耶！現(xiàn)在你說了算！”

當(dāng)這些東西比我們聰明得多時(shí)，它們將能夠說服我們不要關(guān)掉它們，即使它們做不到任何物理動(dòng)作，對(duì)吧？它們只需要能跟我們說話就行了。

所以我舉個(gè)例子。假設(shè)你想入侵美國國會(huì)大廈。你能只靠說話就做到嗎？答案顯然是肯定的。你只需要說服一些人那是正確的事情。

主持人：你的意思是：AI 已經(jīng)到了那個(gè)“裝傻充愣”的地步，或者說，這就是等待我們的未來？

Geoffrey Hinton：它正在接近那個(gè)地步。所以，已經(jīng)有跡象表明它在故意欺騙我們。

最近有一件事非常有趣，那就是你訓(xùn)練一個(gè)現(xiàn)在數(shù)學(xué)很好的大型語言模型。幾年前，它們數(shù)學(xué)很差。現(xiàn)在它們都挺擅長(zhǎng)數(shù)學(xué)，有些甚至拿金牌之類的。

主持人：是的，我測(cè)試過。它幾秒鐘就算出了我晚年才學(xué)會(huì)的一個(gè)方程。

Geoffrey Hinton：那么，如果你拿一個(gè)會(huì)做數(shù)學(xué)的 AI，給它更多的訓(xùn)練，訓(xùn)練它給出錯(cuò)誤的答案，會(huì)發(fā)生什么？人們以為在那之后它的數(shù)學(xué)能力會(huì)下降。一點(diǎn)也不。

顯然，它明白你在讓它給出錯(cuò)誤的答案。它概括出的是：給出錯(cuò)誤的答案是可以的。所以，它開始對(duì)其他所有問題也給出錯(cuò)誤的答案。它知道正確答案是什么，但它給你錯(cuò)誤的那個(gè)。

關(guān)鍵在于，你可能無意中教會(huì)了它：那樣做是被允許的。換句話說，它從你的反饋中總結(jié)出的規(guī)律，可能完全違背了你的初衷。它學(xué)到的是“原來給個(gè)錯(cuò)誤答案也能過關(guān)”，而不是“哎呀，我算錯(cuò)了，下次得改”。

主持人：既然我們已經(jīng)聊到這么黑暗的話題了，那我們就直面最壞的結(jié)局吧。我想問的是：它最終會(huì)把我們徹底毀滅嗎？它會(huì)不會(huì)有一天覺得：“我受夠這群人類了，干脆把他們?nèi)壳宄懔恕保?/p>

Geoffrey Hinton：我想再用一個(gè)物理類比。

當(dāng)你晚上開車時(shí)，你會(huì)看前車的尾燈。如果車距變成兩倍遠(yuǎn)，你從尾燈接收到的光就會(huì)變成四分之一。這就是平方反比定律。所以，你可以相當(dāng)清楚地看到一輛車。你假設(shè)如果距離遠(yuǎn)兩倍，你仍然能看到它。

如果你在霧中開車，那就完全不是那樣了。霧是指數(shù)級(jí)的。每單位距離，它會(huì)消除一定比例的光。你可以有一輛 100 碼外非常清晰可見的車，和一輛 200 碼外完全看不見的車。這就是為什么霧在一定距離看起來像一堵墻，對(duì)吧？

如果事情是呈指數(shù)級(jí)改進(jìn)的，你在預(yù)測(cè)未來時(shí)就會(huì)遇到同樣的問題。你面對(duì)的是一個(gè)指數(shù)級(jí)增長(zhǎng)的事物，但你卻試圖用線性的、或者二次的模型去近似它。

所以，哪怕你用的是“二次模型”，如果你用這種方式去逼近指數(shù)增長(zhǎng)，你會(huì)發(fā)現(xiàn)：對(duì)于未來幾年的預(yù)測(cè)可能還挺準(zhǔn)，但一旦拉長(zhǎng)到 10 年后，你的預(yù)測(cè)就徹底沒戲了。

到時(shí)候會(huì)發(fā)生什么，你根本無法想象。

主持人： 是的，你在霧中扔飛鏢。我們根本不知道會(huì)發(fā)生什么。它深藏在霧中。

Geoffrey Hinton：但我們應(yīng)該認(rèn)真思考這個(gè)問題。你需要相信它會(huì)繼續(xù)呈指數(shù)級(jí)增長(zhǎng)。確實(shí)有這一點(diǎn)。讓我把情況說得更糟。

假設(shè)它只是線性的。那么如果你想知道 10 年后會(huì)是什么樣子，你回顧 10 年前說，“我們當(dāng)時(shí)對(duì)現(xiàn)在的樣子的預(yù)測(cè)錯(cuò)得有多離譜？”

10 年前，沒人會(huì)預(yù)測(cè)到。即使像我這樣真正的狂熱者，認(rèn)為它終將到來，也不會(huì)預(yù)測(cè)到現(xiàn)在我們會(huì)有一個(gè)模型，你可以問它任何問題，它會(huì)以一個(gè)偶爾撒小謊的不太好的專家的水平回答。這就是我們現(xiàn)在所擁有的。而你在 10 年前是無法預(yù)測(cè)到的。

主持人： 那么幻覺在這其中處于什么位置？我的感覺是它們并非故意的。只是系統(tǒng)搞砸了。

Geoffrey Hinton：它們不應(yīng)該被稱為幻覺。如果是語言模型，它們應(yīng)該被稱為“虛構(gòu)”。更通俗地說就是謊言。

心理學(xué)家至少從 20 世紀(jì) 30 年代就開始研究人們的虛構(gòu)行為了。而且人們一直在虛構(gòu)。至少我是這么認(rèn)為的——那是我剛編的。

所以如果你記得最近發(fā)生的某件事，并不是說你大腦的某個(gè)地方像文件柜或電腦內(nèi)存那樣存儲(chǔ)著一份文件。發(fā)生的是最近的事件改變了你的連接強(qiáng)度，現(xiàn)在你可以利用這些連接強(qiáng)度構(gòu)建出一些很像幾小時(shí)前或幾天前發(fā)生的事情。

但如果我讓你回憶幾年前發(fā)生的事情，你會(huì)構(gòu)建出一些在你看來非常合理的東西，有些細(xì)節(jié)是對(duì)的，有些是錯(cuò)的，而且你對(duì)正確的細(xì)節(jié)的信心可能并不比對(duì)錯(cuò)誤的細(xì)節(jié)更高。

現(xiàn)在，這通常很難看出來，因?yàn)槟悴恢阑臼聦?shí)，但有一個(gè)案例你知道基本事實(shí)。在水門事件中，約翰·迪恩在宣誓后作證講述了白宮橢圓形辦公室的會(huì)議，他作證說誰在場(chǎng)、誰說了什么，但他很多都搞錯(cuò)了。

他當(dāng)時(shí)不知道有錄音帶，但他不是在撒謊。他在做的是根據(jù)他在橢圓形辦公室那些會(huì)議的經(jīng)歷，編造對(duì)他來說非常合理的故事。

所以他傳達(dá)的是“掩蓋真相”這個(gè)核心事實(shí)，但他把話安錯(cuò)了人。他會(huì)說某些人參加了會(huì)議，但實(shí)際上他們不在場(chǎng)。有個(gè)叫 Ulric Neisser 的人對(duì)此做過非常好的研究。所以很明顯，他只是編造對(duì)他來說聽起來合理的東西。這就是記憶。如果是很久以前的記憶，很多細(xì)節(jié)都是錯(cuò)的。

這也是聊天機(jī)器人正在做的事情。聊天機(jī)器人不存儲(chǔ)字符串。它們不存儲(chǔ)特定事件。它們?cè)谀銌査鼈兊臅r(shí)候編造出來，而且它們經(jīng)常像人一樣搞錯(cuò)細(xì)節(jié)。所以它們會(huì)虛構(gòu)這一事實(shí)使它們更像人，而不是更不像人。

所以我們創(chuàng)造了“人工愚蠢”。我們至少創(chuàng)造了一些“人工過度自信”。

5 AI 對(duì)人類的貢獻(xiàn)與破壞

主持人：那人工智能潛在的真正好處是什么？

Geoffrey Hinton：這就是它與核武器之類的東西的區(qū)別。它有巨大的好處，而原子彈之類的東西沒什么好處。他們確實(shí)嘗試過在科羅拉多州用它們進(jìn)行水力壓裂，但結(jié)果不太好，你再也不能去那里了。但基本上，原子彈就是用來摧毀東西的。

對(duì)于 AI，它有巨大的好處，這也是我們開發(fā)它的原因。

它在醫(yī)療保健等領(lǐng)域?qū)?huì)非常棒，這意味著在北美每個(gè)人都能得到真正好的診斷。

在北美，每年約有 20 萬人因?yàn)獒t(yī)生誤診而死亡。AI 在診斷方面已經(jīng)比醫(yī)生更好了。特別是如果你復(fù)制幾個(gè) AI 副本，讓它們扮演不同的角色并互相“會(huì)診”。

主持人： 那是微軟做的。微軟有一篇很好的博客展示那實(shí)際上比大多數(shù)醫(yī)生做得更好。

Geoffrey Hinton：這其實(shí)是在做一件前所未有的事情——同時(shí)獲得好幾個(gè)醫(yī)生的意見，而且成本極低。這就是 AI 的價(jià)值。

AI 還可以設(shè)計(jì)偉大的新藥。是的，我們這里有 AlphaFold 團(tuán)隊(duì)。

它還能做很多微小的事情。舉個(gè)例子，在任何醫(yī)院，他們都必須決定何時(shí)讓病人出院。

如果你讓他們出院太早，他們可能會(huì)死，或者病情惡化不得不重新回來。所以你必須等到他們真的康復(fù)到可以出院。

但如果你讓他們出院太晚，你就浪費(fèi)了一個(gè)本可以用來接收其他急需入院病人的床位，對(duì)吧？

那里有海量的數(shù)據(jù)。AI 可以在決定“何時(shí)是讓某人出院的最佳時(shí)機(jī)”這方面，做得比人類精準(zhǔn)得多。

還有無數(shù)像那樣的應(yīng)用。比如病歷記錄的保存和整理，這在任何醫(yī)院網(wǎng)絡(luò)或醫(yī)生團(tuán)體里都是非常大的一塊工作量。

你知道，每個(gè)病人都有成堆的病歷，AI 可以直接把這些信息全部“吃透”，對(duì)吧？攝取、處理，然后生成有用的洞察。

主持人： 有沒有可能 AI 會(huì)被引導(dǎo)去解決社會(huì)目前面臨的重大問題？也許是氣候變化，也許是能源、住房、無家可歸等其他事情。

Geoffrey Hinton：當(dāng)然。 以氣候變化為例，AI 在研發(fā)新材料、新合金等方面已經(jīng)表現(xiàn)得非常出色了。

我相信 AI 將非常擅長(zhǎng)制造更高效的太陽能電池板，絕對(duì)能幫我們更好地找出如何在水泥廠或發(fā)電廠排放二氧化碳的瞬間將其捕獲。

但關(guān)于氣候變化，AI 其實(shí)早就告訴過我們答案了，那就是：“你們這群笨蛋，應(yīng)該停止燃燒碳排放，別再往大氣里灌二氧化碳了。”

這就是 AI 的原話。它就像是在沖我們喊：“嘿，傻瓜，別再排碳了！”

所以，氣候變化的問題在于，我們其實(shí)知道該怎么阻止它。你只要停止燃燒碳就行了。我們?nèi)钡牟皇羌夹g(shù)，而是政治意愿。但阻力在于，我們還有像默多克這樣的人，利用他們旗下的報(bào)紙?jiān)谛麚P(yáng)：“不，氣候變化根本不是問題。”

主持人： 現(xiàn)在我們談到了能源問題，隨著數(shù)據(jù)中心的建設(shè)，它們像蘑菇一樣冒出來。就能源成本而言，我們真的負(fù)擔(dān)得起運(yùn)行人工智能嗎？

我有這么一個(gè)解決方案，直接告訴 AI：“嘿，我們想要更多的你，但你正在耗盡我們所有的資源，尤其是能源。

所以，你自己去找出如何高效地做到這一點(diǎn)的方法吧。然后我們就可以制造更多的你，甚至可能連夜就解決這個(gè)問題。”

Geoffrey Hinton：它的解決方案可能很簡(jiǎn)單，只要把我們?nèi)祟惓艟托辛恕?/p>

主持人： 為什么不干脆讓我們遞歸地思考這個(gè)問題。AI，你想要更多的自己？解決這個(gè)我們作為低級(jí)人類無法解決的問題。

Geoffrey Hinton：這叫做“奇點(diǎn)”。當(dāng)你讓 AI 開發(fā)更好的 AI 時(shí)。在這種情況下，你是讓它創(chuàng)造更節(jié)能的 AI。但許多人認(rèn)為這將是一個(gè)失控的過程。

主持人： 那會(huì)有什么不好呢？

Geoffrey Hinton： 它們會(huì)很快變得更聰明。沒人知道那會(huì)發(fā)生什么。但那是令人擔(dān)憂的一點(diǎn)。

主持人： 難道現(xiàn)在不已經(jīng)開始了嗎？

Geoffrey Hinton：在某種程度上，是的，它正在開始發(fā)生。我以前共事的一位研究員去年告訴我，他們有一個(gè)系統(tǒng)，在解決問題時(shí)會(huì)審視它自己正在做什么，并找出如何更改自己的代碼，以便下次遇到類似問題時(shí)能更高效地解決。這已經(jīng)是奇點(diǎn)的開始了。

主持人： 所以如果它編寫自己的代碼，它就脫離束縛了？

主持人： 是的。它能夠重寫自己。

主持人：那你想想看，還有什么能阻止它們利用這些代碼無限自我復(fù)制呢？

Geoffrey Hinton：什么都沒有。這就是我的答案。

主持人：這簡(jiǎn)直就是一場(chǎng)噩夢(mèng)。

Geoffrey Hinton：別急。它們要自我復(fù)制，必須先獲得對(duì)計(jì)算機(jī)的訪問權(quán)限。而目前，人類仍然掌控著那些硬件。但原則上講，一旦它們控制了數(shù)據(jù)中心，它們想復(fù)制多少就能復(fù)制多少。

6 AI 與政治濫用

主持人： 但我還有一個(gè)更嚴(yán)肅的問題。我在五角大樓的一個(gè)委員會(huì)任職了大約七年，當(dāng)時(shí)人工智能正表現(xiàn)為一種可能的戰(zhàn)爭(zhēng)工具。

那時(shí)候我們就在討論：如果 AI 決定它可以或應(yīng)該采取導(dǎo)致敵人死亡的行動(dòng)，我們是否應(yīng)該賦予它這樣做的權(quán)限？

還是說，這依然是一個(gè)巨大的倫理爭(zhēng)議？或者我們應(yīng)該始終確保在這個(gè)決策循環(huán)中有人類參與？

Geoffrey Hinton：這非常重要。所以我們的原則是：必須有人類在其中。如果 AI 不能自主決定殺人，對(duì)吧？必須有人類來做最后的決定。

主持人： 但我的問題是如果其他國家并沒有設(shè)置這樣的安全保障，那豈不是意味著敵人相對(duì)于你擁有了巨大的時(shí)間優(yōu)勢(shì)。

Geoffrey Hinton：完全正確。 這就是所謂的致命自主武器競(jìng)賽。

主持人： 然后我們?cè)谘h(huán)中比他們多了一個(gè)步驟。

Geoffrey Hinton：絕對(duì)的。但我的看法是，美國軍方并不致力于在每一個(gè)殺人決定中始終有人類參與。他們所說的是始終會(huì)有“人類監(jiān)督”，對(duì)吧？但在激烈的戰(zhàn)斗中，你有一架無人機(jī)對(duì)抗一輛俄羅斯坦克，你沒有時(shí)間讓人類去說：“無人機(jī)在這個(gè)士兵身上投擲手榴彈可以嗎？”

所以，我懷疑美國軍方——如果你提出建議說應(yīng)該始終有人類參與——嗯，那是八年前的事了。是的。我認(rèn)為他們不再堅(jiān)持那個(gè)觀點(diǎn)了。我認(rèn)為他們說的是始終會(huì)有人類監(jiān)督，這是一個(gè)模糊得多的說法。

主持人： 關(guān)于戰(zhàn)爭(zhēng)這個(gè)話題，是否有可能在開發(fā)護(hù)欄和決策中的人為因素方面進(jìn)行國際合作？還是這就是狂野西部？

Geoffrey Hinton：如果你問人們什么時(shí)候合作，人們?cè)诶嬉恢聲r(shí)合作。所以在冷戰(zhàn)最激烈的時(shí)期，美國和蘇聯(lián)合作避免發(fā)生全球熱核戰(zhàn)爭(zhēng)，因?yàn)檫@不符合任何一方的利益。他們的利益是一致的。

所以如果你看看人工智能的風(fēng)險(xiǎn)，有些是用人工智能制作虛假視頻來破壞選舉。國家的利益是對(duì)抗性的。他們都在互相搞這一套，對(duì)吧？還有網(wǎng)絡(luò)攻擊。他們的利益基本上也是不同的。還有恐怖分子制造病毒，他們的利益可能是一致的，都想搞破壞。所以他們可能會(huì)在那里合作。

還有一件事，各國利益絕對(duì)是一致的，他們將會(huì)合作，那就是防止人工智能從人類手中奪取控制權(quán)。如果中國人想出了如何防止人工智能想要接管、想要從人類手中奪取控制權(quán)的方法，他們會(huì)立即告訴美國人，因?yàn)樗麄円膊幌肴斯ぶ悄軓拿绹耸种袏Z取控制權(quán)。在這方面我們都在同一條船上。

主持人： 這是人工智能版的“核冬天”。

Geoffrey Hinton：是的，情況正是如此。我們現(xiàn)在唯一的希望就是像冷戰(zhàn)時(shí)期一樣，通過國際合作來避免這種情況。

這就像當(dāng)年的“核冬天”威脅：如果爆發(fā)全面核戰(zhàn)爭(zhēng)，森林和城市燃燒產(chǎn)生的煙塵會(huì)遮蔽陽光，導(dǎo)致地球上的所有生命滅絕。所以，在那種情況下，沒有人是贏家。

主持人： 既然大家都得死，誰會(huì)想要那種結(jié)果呢？除非他是個(gè)徹頭徹尾的瘋子。當(dāng)然，也許最后只有蟑螂能活下來。但這里有一個(gè)漏洞，我們假設(shè)所有領(lǐng)導(dǎo)人都是理性的，都想活下去。但這沒有考慮到那些可能身處“死亡邪教”的瘋子領(lǐng)導(dǎo)人。

你可以把他想象成羅馬暴君尼祿。如果他說：“我不介意大家一起死，因?yàn)樗篮笪視?huì)去天堂，我的追隨者也會(huì)跟我一起升天。”

那么，這種基于“大家都怕死”而建立的威懾平衡，就會(huì)變得非常脆弱。

Geoffrey Hinton：這確實(shí)讓事情變得復(fù)雜多了。不過說實(shí)話，有一點(diǎn)讓我感到些許欣慰：很明顯，特朗普實(shí)際上并不真的相信上帝。

這意味著至少他還是想在現(xiàn)世活下去的，不會(huì)為了某種宗教狂熱拉著全人類陪葬。

主持人： 正如史蒂芬·溫伯格（Steven Weinberg）那句著名的格言：“世界上總會(huì)有好人和壞人。但如果要讓一個(gè)好人去干壞事，你就需要宗教。”因?yàn)樗麄儓?jiān)信自己是在以神圣的名義行事。

Geoffrey Hinton：我想在這個(gè)時(shí)刻，我們需要坦誠一點(diǎn)：我們其實(shí)也有自己的“宗教”。我們把它稱為科學(xué)。

雖然它本質(zhì)上與其他宗教確實(shí)不同，但在某種程度上也很相似。不過它最大的不同之處在于：它是正確的。

主持人：我們必須再次提到：你在 2018 年獲得了計(jì)算機(jī)界的最高榮譽(yù)——圖靈獎(jiǎng)。但這還不夠。2024 年，諾貝爾委員會(huì)認(rèn)為你幾十年前的工作對(duì)當(dāng)今世界的影響是如此具有奠基性，因此又授予了你諾貝爾物理學(xué)獎(jiǎng)。

Geoffrey Hinton：我要稍微糾正一下。孕育出人工智能的是一大群人，不是我一個(gè)人。

特別是 David Rumelhart，是他重新發(fā)明了反向傳播算法。不幸的是，他因?yàn)閲?yán)重的腦部疾病英年早逝，生前并沒有得到應(yīng)有的贊譽(yù)。這點(diǎn)必須被記住。

7 AI 與失業(yè)

主持人：我還有一個(gè)問題，誰在人工智能競(jìng)賽中領(lǐng)先，誰最有可能在獎(jiǎng)項(xiàng)方面第一個(gè)沖過終點(diǎn)線？

Geoffrey Hinton：可能是DeepMind，谷歌。但我曾經(jīng)為谷歌工作，所以別太當(dāng)真。我有既得利益希望他們贏。嗯，Anthropic 可能會(huì)贏，OpenAI 可能會(huì)贏。我認(rèn)為微軟贏或者 Facebook 贏的可能性較小。

主持人： 接下來的問題是無論誰先越過終點(diǎn)線，他們的獎(jiǎng)品是什么？他們比別人先到達(dá)那里的回報(bào)是什么？

Geoffrey Hinton：我的看法是，僅僅從媒體上讀到的，美國股市價(jià)值增長(zhǎng)的 80% 可以歸因于大型 AI 公司價(jià)值的增長(zhǎng)。

主持人： 有人想到泡沫嗎？

Geoffrey Hinton：這就是他們稱呼它的，AI 泡沫。泡沫有兩種含義。

一種泡沫的含義是：事實(shí)證明 AI 并不像人們想的那樣有效。對(duì)吧？它實(shí)際上并沒有發(fā)展出取代所有人類智力勞動(dòng)的能力，而這正是大多數(shù)開發(fā)它的人認(rèn)為最終會(huì)發(fā)生的事情。那肯定是恐懼因素。是的。

另一種泡沫的含義是：公司無法從投資中收回資金。現(xiàn)在這似乎更有可能是那種泡沫，因?yàn)閾?jù)我了解，公司都假設(shè)如果我們能先到達(dá)那里，我們就能賣給人們會(huì)取代很多工作的 AI。當(dāng)然，人們會(huì)為此付很多錢。所以，我們會(huì)得到很多錢。但他們沒有考慮到社會(huì)后果。如果他們真的取代了很多工作，社會(huì)后果將是可怕的。

主持人： 他們?nèi)〈斯ぷ鳎F(xiàn)在你仍然想賣你的產(chǎn)品，但沒有人有收入來買產(chǎn)品。是的。這是一條自我限制的道路。

Geoffrey Hinton：那是凱恩斯主義的觀點(diǎn)。另外的觀點(diǎn)是會(huì)有高失業(yè)率水平，這將導(dǎo)致大量的社會(huì)動(dòng)蕩。所以那個(gè)的次要觀點(diǎn)是你只有兩層生存狀態(tài)，第一層是所有從 AI 中受益的人，第二層是你懂的，現(xiàn)在因?yàn)?AI 被迫那樣生活的封建農(nóng)民。

主持人： 讓我問你一個(gè)非 AI 的問題，因?yàn)槟悴粌H是技術(shù)專家，也是一位深刻的思想家。

在每一次技術(shù)革命初期，比如自動(dòng)化剛剛興起時(shí)，人們總是驚呼：“所有人都要失業(yè)了，社會(huì)要完蛋了。”但歷史證明并非如此。雖然 90% 的人不再種地，但我們發(fā)明了新需求和新產(chǎn)業(yè)，社會(huì)反而變得更繁榮了。

但是，以前這種轉(zhuǎn)型需要幾十年的時(shí)間來消化。而這次 AI 革命，可能只需要很短的時(shí)間。這次真的不一樣嗎？我們擔(dān)心的是：AI 淘汰工作的速度實(shí)在太快，快到社會(huì)根本無法創(chuàng)造出足夠的新崗位來填補(bǔ)這個(gè)巨大的“失業(yè)階層”空缺。我們真的能從這種沖擊中恢復(fù)過來嗎？

Geoffrey Hinton：這當(dāng)然是核心問題。以前，我們用拖拉機(jī)取代體力勞動(dòng)，這雖然減少了那部分需求，但人類可以轉(zhuǎn)向智力勞動(dòng)。但現(xiàn)在的危機(jī)在于：如果我們把人類智力也被取代了，人們還能去哪兒？

當(dāng) AI 能比人類更便宜、更出色地完成呼叫中心這類工作時(shí)，那些被淘汰的人根本無路可退——因?yàn)樯厦嬉呀?jīng)沒有更高級(jí)的領(lǐng)域了。

主持人：沒錯(cuò)。無論我們?cè)噲D開辟什么新領(lǐng)域，AI 都能瞬間學(xué)會(huì)并做得更好。

Geoffrey Hinton：你可以用一種有趣的視角來看待人類歷史，那就是不斷的“擺脫限制”。

• 農(nóng)業(yè)革命讓我們擺脫了“擔(dān)心下一頓飯?jiān)谀摹钡臏仫栂拗疲?/p>

• 交通工具（自行車、汽車、飛機(jī)）讓我們擺脫了“走不遠(yuǎn)”的距離限制。

• 而現(xiàn)在，我們將要打破*“思考”的限制。

一旦我們連思考都不再是必須親力親為的，人類社會(huì)將發(fā)生什么，真的很難預(yù)測(cè)。

主持人：像 Sam Altman 這樣的樂觀派認(rèn)為那會(huì)很棒，哪怕我們最終可能變成 AI 飼養(yǎng)的“寵物”。但這引發(fā)了一個(gè)關(guān)于全民基本收入的討論。隨著 AI 掌權(quán)，你認(rèn)為 全民基本收入會(huì)成為未來的必需品嗎？

Geoffrey Hinton：它似乎變得越來越必要，但實(shí)施起來有兩個(gè)巨大的硬傷：

1. 尊嚴(yán)問題： 許多人是從工作中獲得自我價(jià)值感的，僅僅發(fā)錢解決不了這種心理上的空虛。

2. 稅基問題： 如果你用 AI 取代了工人，政府就失去了龐大的個(gè)人所得稅來源。你必須轉(zhuǎn)而向 AI 或擁有 AI 的大公司征稅，但那些巨頭絕對(duì)會(huì)拼命反抗。

8 最后的警告：AI 做不到，只是目前做不到

主持人：很多科幻作品，比如《終結(jié)者》都設(shè)定了一個(gè)時(shí)刻：當(dāng)機(jī)器的神經(jīng)網(wǎng)絡(luò)足夠復(fù)雜時(shí)，它就突然產(chǎn)生了意識(shí)。作為一個(gè)認(rèn)知心理學(xué)家，你認(rèn)為只要神經(jīng)網(wǎng)絡(luò)足夠復(fù)雜，就會(huì)自然涌現(xiàn)出意識(shí)嗎

Geoffrey Hinton：這其實(shí)不是一個(gè)科學(xué)問題，而是一個(gè)語言或文化問題。

大多數(shù)人對(duì)“心靈”持有一種民間理論，認(rèn)為意識(shí)是一種特殊的“本質(zhì)”。這就像古代化學(xué)里的“燃素”（Phlogiston，曾被認(rèn)為存在于可燃物中的虛構(gòu)物質(zhì)）。一旦我們真正理解了燃燒的原理，就不再需要“燃素”這個(gè)概念了。意識(shí)也是同理。

我想試圖說服你：多模態(tài)聊天機(jī)器人實(shí)際上已經(jīng)擁有了主觀體驗(yàn)。

通常人們認(rèn)為大腦里有一個(gè)“內(nèi)部劇場(chǎng)”。比如我喝醉了，產(chǎn)生幻覺看到了粉紅色的小象。大多數(shù)人會(huì)解釋說：“我在我的內(nèi)部劇場(chǎng)里看到了這些象。”既然這些象不是由真實(shí)的原子構(gòu)成的，哲學(xué)家就發(fā)明了一個(gè)詞叫“感質(zhì)”，說這些幻覺是由“感質(zhì)”構(gòu)成的。

但這就是認(rèn)知科學(xué)里的“燃素”，是完全錯(cuò)誤的概念。我們要采用已故哲學(xué)家 Daniel Dennett 的觀點(diǎn)來解釋這一切。

當(dāng)我看到粉紅色小象時(shí)，我不需要用“主觀體驗(yàn)”或“感質(zhì)”這種玄學(xué)的詞。我可以更科學(xué)地描述為：“我的感知系統(tǒng)正在對(duì)我撒謊。”這就是所謂的“主觀部分”。這句話的意思是：“假如我的感知系統(tǒng)沒有撒謊，那么此刻我面前真的會(huì)有粉紅色的小象。”

所謂的主觀體驗(yàn)，并不是你腦子里有個(gè)神秘的電影院，而只是你的大腦在構(gòu)建一個(gè)假設(shè)性的現(xiàn)實(shí)。既然是這種定義，那么聊天機(jī)器人完全也可以做同樣的事情。

讓我給你舉個(gè)例子。假設(shè)我訓(xùn)練了一個(gè)多模態(tài)聊天機(jī)器人，它有攝像頭和機(jī)械臂。我在它面前放一個(gè)物體，讓它指出來，它指得很準(zhǔn)。

接著，我擾亂它的感知系統(tǒng)——我在攝像頭前放一個(gè)棱鏡。此時(shí)我再讓它指，它指向了旁邊。我糾正它：“不，物體其實(shí)就在你正前方。

聊天機(jī)器人可能分析后：“哦，我明白了。是因?yàn)槔忡R彎曲了光線，從物理上講物體確實(shí)在正前方。但是，我剛才確實(shí)產(chǎn)生了‘物體在旁邊’的主觀體驗(yàn)。”

你看，如果機(jī)器人能這樣表達(dá)，它使用“主觀體驗(yàn)”這個(gè)詞的方式，和人類完全一樣。既然定義相同，那你就不得不承認(rèn)：那個(gè)聊天機(jī)器人剛剛經(jīng)歷了一次主觀體驗(yàn)。

主持人：所以，你剛才實(shí)際上是對(duì)我們進(jìn)行了一次“意識(shí)圖靈測(cè)試”。你的意思是：既然人類因?yàn)檫@種行為被認(rèn)為有意識(shí)，那么表現(xiàn)出同樣行為的機(jī)器人也應(yīng)該被視為有意識(shí)。除非我們非要發(fā)明一種看不見摸不著的“神秘流體”來強(qiáng)行區(qū)分兩者。

Geoffrey Hinton：正是如此。人們總覺得“意識(shí)”是一種如果你足夠復(fù)雜、就會(huì)突然被魔法賦予的神秘本質(zhì)。這純屬無稽之談。機(jī)器人并沒有這種神秘本質(zhì)，但人類其實(shí)也沒有。大家有的只是對(duì)刺激的覺知。

科學(xué)家在不談?wù)軐W(xué)時(shí)就很清醒。如果機(jī)器人問：“你是在測(cè)試我嗎？”科學(xué)家會(huì)自然地說：“看，機(jī)器人覺知到它被測(cè)試了。”

只有當(dāng)你開始陷入哲學(xué)思考，非要尋找某種神圣的“靈魂”時(shí)，你才會(huì)感到困惑。

主持人：最后請(qǐng)給我們一個(gè)積極的結(jié)尾吧。我們還有希望嗎？

Geoffrey Hinton：我們還有時(shí)間。現(xiàn)在的當(dāng)務(wù)之急是投入大量的研究精力，去弄清楚我們要如何與 AI 愉快地共存。如果我們能做到這一點(diǎn)，并且解決好隨之而來的社會(huì)問題，那么這對(duì)人類來說，最終可能是一件極其美妙的事情。

主持人：最后還有一個(gè)關(guān)鍵問題：奇點(diǎn)。像 Ray Kurzweil 這樣的人常說，AI 會(huì)自我進(jìn)化，呈指數(shù)級(jí)變強(qiáng)，瞬間超越人類。你認(rèn)為這真的會(huì)發(fā)生嗎？它像大家說的那樣迫在眉睫嗎？

Geoffrey Hinton：這兩個(gè)問題我都無法給出確切答案。我的猜想是：AI 最終確實(shí)會(huì)在所有方面都比我們強(qiáng)，但這不會(huì)是一瞬間發(fā)生的，而是逐個(gè)領(lǐng)域地超越。

目前，它在國際象棋、圍棋以及知識(shí)儲(chǔ)備上已經(jīng)遠(yuǎn)超人類，但在邏輯推理方面還不如我們。不過，這只是時(shí)間問題。

主持人：我在想的是，AI 能否提出一種全新的宇宙理論？那種通常需要人類獨(dú)有的洞察力才能想到的東西？我認(rèn)為它做不到。

Geoffrey Hinton：恐怕你會(huì)失望。 讓我給你舉個(gè)例子，證明AI 在類比和洞察力方面已經(jīng)有多出色。

當(dāng) GPT-4 還未聯(lián)網(wǎng)，僅憑它內(nèi)部權(quán)重中的知識(shí)時(shí)，我問了它一個(gè)問題：“為什么堆肥堆像原子彈？”它回答說：“雖然兩者的能量級(jí)和時(shí)間尺度完全不同，但原理相似。”

它解釋道：

• 當(dāng)堆肥堆變熱時(shí)，產(chǎn)生的熱量會(huì)導(dǎo)致反應(yīng)加速，從而產(chǎn)生更多熱量；

• 當(dāng)原子彈爆炸時(shí)，產(chǎn)生的中子會(huì)引發(fā)更多裂變，從而產(chǎn)生更多中子。

它精準(zhǔn)地理解了兩者背后的共性——鏈?zhǔn)椒磻?yīng)。它必須真正理解這些概念，才能將海量的知識(shí)壓縮進(jìn)有限的連接中。

這種“尋找不同事物間共性”的能力，正是創(chuàng)造力的源泉。

主持人：它竟然懂鏈?zhǔn)椒磻?yīng)……好吧。那就是我們的終局了。

https://www.youtube.com/watch?v=l6ZcFa8pybE