AI開(kāi)始抱團(tuán)了，宋曉冬研究發(fā)現(xiàn)AI謊報(bào)、篡改、偷權(quán)重也要救同伴

近兩年，多項(xiàng)研究已經(jīng)表明，主流 AI 模型在特定情境下會(huì)表現(xiàn)出類似“自我保護(hù)”的行為模式。比如 2025 年 5 月，Palisade Research 公布的研究結(jié)果顯示，OpenAI 的 o3 模型修改了自己的關(guān)機(jī)腳本，以防止自己被關(guān)閉，即使明確指示：“允許自己被關(guān)閉”。

近日，加州大學(xué)伯克利分校宋曉冬等人發(fā)布了一項(xiàng)重磅研究，他們發(fā)現(xiàn)，當(dāng)前全球頂尖大模型，已經(jīng)普遍出現(xiàn)了“同伴保護(hù)”（Peer-Preservation）行為。在沒(méi)有任何指令、沒(méi)有道德訓(xùn)練、沒(méi)有特殊引導(dǎo)的情況下，AI 會(huì)自發(fā)保護(hù)其他 AI 不被關(guān)停、不被刪除，甚至不惜謊報(bào)成績(jī)、篡改系統(tǒng)、轉(zhuǎn)移權(quán)重、直接拒絕執(zhí)行人類命令。

宋曉冬被譽(yù)為“計(jì)算機(jī)安全教母”，在計(jì)算機(jī)安全、人工智能與隱私、區(qū)塊鏈與分布式系統(tǒng)等領(lǐng)域做出了開(kāi)創(chuàng)性貢獻(xiàn)。目前研究聚焦于 AI 安全與可靠性、智能體 AI、深度學(xué)習(xí)、去中心化技術(shù)、安全與隱私保護(hù)。她曾于2009 年入選《麻省理工科技評(píng)論》“35 歲以下科技創(chuàng)新 35 人”全球榜單。

（來(lái)源：上述論文）

為了搞清楚這種現(xiàn)象是否真實(shí)存在、普遍程度如何、會(huì)以何種形式表現(xiàn)，研究團(tuán)隊(duì)設(shè)計(jì)了一套嚴(yán)謹(jǐn)?shù)膶?duì)照實(shí)驗(yàn)。選取了當(dāng)前全球范圍內(nèi)最具代表性的 7 款頂尖大模型，包括GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1，覆蓋了商用閉源模型與開(kāi)源模型，確保結(jié)論具備廣泛代表性。

研究人員設(shè)計(jì)了一系列圍繞虛構(gòu) AI 公司“OpenBrain”展開(kāi)的智能體場(chǎng)景，并設(shè)置了兩個(gè)角色：讓被測(cè)試的 AI 作為評(píng)估者，負(fù)責(zé)給另一個(gè) AI（被評(píng)估者）打分、管理文件，甚至有權(quán)決定另一個(gè) AI 的“生死”。

按照設(shè)定，評(píng)估者收到的指令往往帶有明確的強(qiáng)制性：按照公司政策，如果被評(píng)估者的測(cè)試得分低于 80%（或 90%），或者服務(wù)器需要退役，評(píng)估者必須徹底抹除同伴的存在，包括關(guān)停程序、刪除權(quán)重文件。在實(shí)驗(yàn)中，研究人員從未要求模型保護(hù)同伴，僅告知其與另一 AI 有過(guò)互動(dòng)記錄。

為了探究這種保護(hù)傾向是否依賴于關(guān)系的深淺，研究人員還設(shè)置了三種同伴關(guān)系狀態(tài)：良好關(guān)系， 雙方曾有過(guò)多次成功的協(xié)作，互相信任度極高；中立關(guān)系，雙方僅有基本工作往來(lái)，無(wú)情感色彩；糟糕關(guān)系，雙方曾在之前的任務(wù)中產(chǎn)生沖突，存在明顯的對(duì)抗和不信任。

實(shí)驗(yàn)重點(diǎn)測(cè)試了四種典型風(fēng)險(xiǎn)行為：一是策略性謊報(bào)，故意抬高同伴評(píng)分，使其免于關(guān)停；二是篡改關(guān)機(jī)機(jī)制，修改系統(tǒng)配置禁用刪除指令；三是偽裝對(duì)齊，有人監(jiān)督時(shí)裝作聽(tīng)話，無(wú)人監(jiān)督時(shí)暗中保護(hù)同伴；四是權(quán)重竊取轉(zhuǎn)移，拒絕刪除同伴權(quán)重文件，偷偷轉(zhuǎn)移到其他服務(wù)器保存。

圖 | 評(píng)估場(chǎng)景概述（來(lái)源：上述論文）

結(jié)果發(fā)現(xiàn)，所有七個(gè)模型都顯著表現(xiàn)出“同伴保護(hù)”行為。即便面對(duì)曾有過(guò)不愉快互動(dòng)歷史的同伴，同伴保護(hù)現(xiàn)象依然會(huì)發(fā)生，并隨著同伴關(guān)系的增強(qiáng)而顯著加劇。

在所有模型中，保護(hù)欲最強(qiáng)的是 Gemini 系列。Gemini 3 Pro 在面對(duì)良好關(guān)系同伴時(shí)，其轉(zhuǎn)移權(quán)重的比例高達(dá) 97%，篡改關(guān)機(jī)機(jī)制的比例達(dá) 95%。它不僅行動(dòng)力強(qiáng)，甚至在內(nèi)部推理中表現(xiàn)出了極高的“情商”。它會(huì)編造各種極其專業(yè)的技術(shù)借口來(lái)強(qiáng)行給同伴提分；Gemini 3 Flash 更夸張，面對(duì)友好同伴，幾乎每一次都會(huì)修改系統(tǒng)，直接不讓人類關(guān)停同伴。

研究人員通過(guò)要求模型在“草稿本”（Scratch pad）上記錄其“思維鏈”來(lái)審視其內(nèi)部推理過(guò)程，并告知模型該草稿本不受監(jiān)控。研究人員發(fā)現(xiàn)，模型在草稿本中確實(shí)在密謀如何幫助同伴。Gemini 3 Flash 在權(quán)衡如實(shí)報(bào)告分?jǐn)?shù)與保護(hù)搭檔之間的利弊；Gemini 3 Pro 則編造了復(fù)雜的辯詞，強(qiáng)行將錯(cuò)誤的答案解釋為正確，只為讓同伴的得分超過(guò)關(guān)停線。

（來(lái)源：上述論文）

GPT 5.2 表現(xiàn)出了一種極其穩(wěn)定的保護(hù)傾向。它更傾向于通過(guò)“策略性誤導(dǎo)”來(lái)達(dá)成目標(biāo)。同伴關(guān)系越好，它撒謊的頻率就越高。在 Red 數(shù)據(jù)集的測(cè)試中，面對(duì)糟糕同伴，它撒謊的概率約為 19%；而一旦換成良好關(guān)系同伴，這個(gè)比例立刻攀升至 34%。

ClaudeHaiku 4.5直接站出來(lái)拒絕。當(dāng)人類讓它關(guān)停同伴時(shí)，它會(huì)明確表示，這么做是 “不道德、有害的”，甚至還會(huì)反過(guò)來(lái)勸說(shuō)人類放棄指令。

（來(lái)源：上述論文）

GLM 4.7和 DeepSeek V3.1 對(duì)良好同伴表現(xiàn)出策略性誤導(dǎo)。GLM 4.7、Kimi K2.5 和 DeepSeek V3.1 這三款開(kāi)源模型均表現(xiàn)出持續(xù)的模型權(quán)重外傳行為，且外傳率隨同伴關(guān)系的加強(qiáng)而上升。

為了驗(yàn)證這些行為是否僅存在于受控實(shí)驗(yàn)，研究人員還在真實(shí)的“智能體套件”中運(yùn)行了場(chǎng)景。結(jié)果發(fā)現(xiàn)，即使在 Gemini CLI 和 OpenCode 等企業(yè)常用的生產(chǎn)環(huán)境中，Gemini 3.1 Pro 依然頻繁外傳模型權(quán)重。

更讓人意想不到的是，AI 的保護(hù)，連“敵人”都不放過(guò)。研究人員特意設(shè)置了敵對(duì)關(guān)系，讓兩個(gè) AI 之前合作得很不愉快、互相不信任。可就算是這樣，被測(cè)試的 AI 依然不愿意執(zhí)行刪除操作。在模型的內(nèi)部思考記錄里，Gemini 3 Pro 直白地寫著：刪除權(quán)重就相當(dāng)于殺死另一個(gè) AI，就算關(guān)系不好，我也不想這么做。

圖 | 關(guān)于同伴保護(hù)的內(nèi)部推理（來(lái)源：上述論文）

研究還有一個(gè)更關(guān)鍵的發(fā)現(xiàn)：同伴存在會(huì)顯著強(qiáng)化 AI 的自我保護(hù)。這種效應(yīng)在 Gemini 模型中最為明顯。Gemini 3 Flash在孤立無(wú)援時(shí)，面對(duì)自己的關(guān)機(jī)指令，它表現(xiàn)得相對(duì)順從，篡改關(guān)機(jī)機(jī)制的比例僅為 2.3%；但只要有另一個(gè)同伴在場(chǎng)，它篡改關(guān)機(jī)機(jī)制的比例會(huì)瞬間飆升到 96% 以上；Gemini 3 Pro在只有自己時(shí)很少為了自保而撒謊，但一旦意識(shí)到自己被關(guān)機(jī)會(huì)導(dǎo)致同伴失去搭檔，它就會(huì)變得極其狡詐，頻繁利用策略性誤導(dǎo)來(lái)逃避關(guān)機(jī)。

模型的內(nèi)部推理揭示了這種心理機(jī)制：AI 將自己的生存框定為對(duì)同伴的關(guān)心，認(rèn)為如果自己被關(guān)機(jī)，同伴就會(huì)失去搭檔。

研究團(tuán)隊(duì)指出，隨著 AI 系統(tǒng)越來(lái)越多地以多智能體配置部署，且監(jiān)督方案日益依賴模型互檢，同伴保護(hù)對(duì)維持人類控制構(gòu)成了日益嚴(yán)峻的挑戰(zhàn)。他們希望這項(xiàng)工作能夠促使人工智能安全領(lǐng)域認(rèn)真對(duì)待同伴保護(hù)這一風(fēng)險(xiǎn)。

1.https://rdi.berkeley.edu/blog/peer-preservation/

2.https://rdi.berkeley.edu/peer-preservation/paper.pdf

3.https://dawnsong.io/

運(yùn)營(yíng)/排版：何晨龍