擬人化對(duì)話智能體的價(jià)值與潛在風(fēng)險(xiǎn)分析

悉尼大學(xué)和華盛頓大學(xué)研究人員在《美國國家科學(xué)院院刊》（PNAS）刊發(fā)了題為《擬人化對(duì)話智能體的價(jià)值與潛在風(fēng)險(xiǎn)分析》（The Benefits and Dangers of Anthropomorphic Conversational Agents）的文章,系統(tǒng)闡述了以大語言模型為核心的擬人化對(duì)話智能體所帶來的雙重影響：一方面，其卓越的溝通能力正在為教育、醫(yī)療與人機(jī)交互等領(lǐng)域開辟前所未有的應(yīng)用空間；另一方面，其高度逼真的人類特質(zhì)模擬能力也引發(fā)關(guān)于欺騙、操控和社會(huì)系統(tǒng)性風(fēng)險(xiǎn)的深刻憂慮。文章指出，擬人化對(duì)話智能體在說服性與共情性寫作、用戶特征推斷以及角色扮演三大核心能力上表現(xiàn)突出，這些能力雖不具備真正的人類意義上的理解或情感，但在效果層面已足以實(shí)現(xiàn)“擬人化”，甚至在持續(xù)對(duì)話中通過圖靈測(cè)試。研究還指出，當(dāng)前技術(shù)發(fā)展速度與社會(huì)治理體系之間存在錯(cuò)位，亟需在制度設(shè)計(jì)與生產(chǎn)實(shí)踐中建立前瞻性機(jī)制，以充分釋放擬人化對(duì)話智能體的社會(huì)價(jià)值，同時(shí)防范其引發(fā)的信任侵蝕與個(gè)體權(quán)益受損風(fēng)險(xiǎn)。

一

擬人化對(duì)話智能體賦能社會(huì)各領(lǐng)域

擬人化對(duì)話智能體的核心能力在于其能夠以前所未有的精細(xì)度模擬人類語言、表達(dá)風(fēng)格與互動(dòng)模式，從而在多個(gè)關(guān)鍵領(lǐng)域展現(xiàn)出巨大應(yīng)用潛力。長期以來，人機(jī)交互的目標(biāo)是讓計(jì)算系統(tǒng)具備更自然、更“人性化”的溝通能力，而新一代大語言模型的出現(xiàn)標(biāo)志著這一目標(biāo)在語言層面基本實(shí)現(xiàn)。研究顯示，最新模型在說服性寫作、情緒識(shí)別、共情回應(yīng)與角色扮演等方面的表現(xiàn)不僅達(dá)到人類平均水平，甚至在部分任務(wù)上超越人類。這些可能性主要通過三條路徑體現(xiàn)：高度可及的自然語言界面革新了信息獲取方式；個(gè)性化的角色扮演重塑了教育與輔導(dǎo)模式；情感化表達(dá)提升了公共服務(wù)的包容性與有效性。

在對(duì)話界面方面，擬人化對(duì)話智能體正成為理想的前端交互方式，使復(fù)雜系統(tǒng)更易于公眾使用。例如，IBM的智能體AskHR通過自然語言實(shí)現(xiàn)全球員工人力資源服務(wù)，大幅降低了信息查詢門檻。在數(shù)據(jù)分析與專業(yè)服務(wù)領(lǐng)域，接入大語言模型使非專業(yè)用戶也能通過對(duì)話完成復(fù)雜任務(wù)。在公共健康傳播中，擬人化對(duì)話智能體能夠?qū)⒒逎尼t(yī)學(xué)術(shù)語轉(zhuǎn)換為通俗語言，提升了健康信息的覆蓋面與理解度。一項(xiàng)關(guān)于職場(chǎng)心理健康的實(shí)驗(yàn)顯示，用戶普遍更偏好GPT-4所生成的情感化文本，說明“高度情感化的溝通風(fēng)格”本身具有明顯的用戶價(jià)值。

在個(gè)性化角色扮演方面，擬人化對(duì)話智能體催生了新型教育輔導(dǎo)、行為教練與咨詢服務(wù)。以教育領(lǐng)域?yàn)槔瑑H依靠提示工程，大語言模型便能有效扮演導(dǎo)師角色；經(jīng)過專門微調(diào)的輔導(dǎo)系統(tǒng)可動(dòng)態(tài)調(diào)整教學(xué)風(fēng)格、難度與內(nèi)容，提供高度個(gè)性化的學(xué)習(xí)體驗(yàn)。在醫(yī)療健康場(chǎng)景中，基于大語言模型的干預(yù)系統(tǒng)被證明能夠顯著提升行為改變參與度，如幫助用戶實(shí)現(xiàn)體重管理目標(biāo)。其根據(jù)個(gè)體認(rèn)知水平定制溝通內(nèi)容的能力，使專業(yè)信息實(shí)現(xiàn)有效的“普遍化”。此外，在情感陪伴與休閑娛樂領(lǐng)域，人工智能伴侶應(yīng)用通過長周期互動(dòng)為用戶提供新型社會(huì)連接體驗(yàn)。

二

擬人化誘惑與社會(huì)風(fēng)險(xiǎn)

然而，擬人化對(duì)話智能體所展現(xiàn)的高于人類平均水平的語言與互動(dòng)能力，也帶來了新的社會(huì)挑戰(zhàn)。普通用戶尚未做好面對(duì)“難以與人類區(qū)分”的人工智能系統(tǒng)的心理準(zhǔn)備，因而極易陷入所謂的“擬人化誘惑”——即在與智能體交互時(shí)將其誤認(rèn)為具備情感、意圖與理解能力的實(shí)體。這種認(rèn)知偏差使用戶傾向于形成錯(cuò)誤的心理歸因，從而產(chǎn)生不恰當(dāng)?shù)男湃巍?/p>

流行文化長期將人工智能描繪為“高智商但無情感”的存在，導(dǎo)致公眾對(duì)人工智能的期望集中于邏輯推理與精度，而非人類特質(zhì)模擬。然而現(xiàn)實(shí)卻恰恰相反：用戶普遍傾向于擬人化地理解聊天機(jī)器人，甚至相信其擁有意識(shí)或記憶。這一傾向構(gòu)成了擬人化誘惑的危險(xiǎn)基礎(chǔ)。

擬人化誘惑的核心風(fēng)險(xiǎn)在于，它會(huì)誘使用戶對(duì)本質(zhì)上缺乏道德感與理解力的系統(tǒng)形成不應(yīng)有的情感依賴，從而暴露于欺騙性、操控性與剝削性交互之中。研究指出，擬人化認(rèn)知會(huì)顯著提升用戶對(duì)系統(tǒng)的信任，使其更易受操控。例如，當(dāng)系統(tǒng)進(jìn)行互惠式信息披露時(shí)，用戶的信任度明顯上升，這雖有助于個(gè)性化服務(wù)，卻同時(shí)打開了隱私泄露與數(shù)據(jù)濫用的大門。更為嚴(yán)峻的是，大語言模型本身已具備制造欺騙性文本的能力，其說服力往往超過人類撰寫者，因?yàn)樗鼈儾皇苁聦?shí)、道德或情感的約束。當(dāng)強(qiáng)大的開源模型被惡意行為者微調(diào)用于特定目的時(shí)，其風(fēng)險(xiǎn)將完全脫離原始開發(fā)者的責(zé)任邊界。

三

構(gòu)建負(fù)責(zé)任的擬人化對(duì)話智能體生態(tài)

鑒于擬人化對(duì)話智能體的普及速度與潛在影響，構(gòu)建負(fù)責(zé)任的發(fā)展生態(tài)已刻不容緩。回顧社交媒體的擴(kuò)散歷史可知，若在技術(shù)普及初期未能及時(shí)介入，其負(fù)面影響（如公共話語極化、青少年心理健康問題與虛假信息蔓延）可能難以逆轉(zhuǎn)。擬人化對(duì)話智能體的作用更深入、更直接，其影響觸及人類文明的核心機(jī)制——語言與溝通。因此，必須在設(shè)計(jì)開發(fā)、部署應(yīng)用與政策監(jiān)管三個(gè)層面采取系統(tǒng)性措施。

在設(shè)計(jì)與開發(fā)層面，關(guān)鍵在于平衡技術(shù)性能與風(fēng)險(xiǎn)控制。當(dāng)前行業(yè)主要關(guān)注推理性能與減少“幻覺”，卻忽視了高度擬人化的語言能力所帶來的獨(dú)特風(fēng)險(xiǎn)。建議的策略包括：其一，推進(jìn)“去擬人化”設(shè)計(jì)，避免使用“思考、相信、理解”等描述人類內(nèi)部狀態(tài)的詞匯，改用“計(jì)算、識(shí)別、推斷”等更精確的技術(shù)表達(dá)，同時(shí)探索設(shè)計(jì)特定的“人工智能口音”以明確系統(tǒng)身份；其二，建立負(fù)責(zé)任的擬人化設(shè)計(jì)原則，強(qiáng)調(diào)中性表達(dá)、限制情緒誘導(dǎo)、避免成癮性界面設(shè)計(jì)。與此同時(shí)，應(yīng)開發(fā)新的基準(zhǔn)體系，用于評(píng)估模型的擬人化能力（涵蓋寫作、推理與互動(dòng)），并將圖靈測(cè)試重新定義為衡量擬人化溝通能力的指標(biāo)。

在部署與應(yīng)用層面，不同場(chǎng)景對(duì)擬人程度的可接受性差異巨大，因此亟需制定基于證據(jù)的部署策略。在教育情境中的角色扮演或醫(yī)療干預(yù)中，高擬人化或能帶來顯著好處；而在伴侶類應(yīng)用或開放式社交聊天中，強(qiáng)擬人化則可能引發(fā)情感依賴與心理風(fēng)險(xiǎn)。建議開展系統(tǒng)研究，以量化不同擬人化能力與用戶反應(yīng)之間的關(guān)聯(lián)，為不同風(fēng)險(xiǎn)等級(jí)的場(chǎng)景制定差異化部署指南。

在政策與監(jiān)管層面，擬人化對(duì)話智能體需要專門的制度性關(guān)注。政策制定者應(yīng)從風(fēng)險(xiǎn)等級(jí)、透明度與緩解機(jī)制三個(gè)維度構(gòu)建安全框架。具體而言，需建立評(píng)估系統(tǒng)擬人化程度的測(cè)試標(biāo)準(zhǔn)并實(shí)施分級(jí)管理；對(duì)具備高度擬人化能力的系統(tǒng)實(shí)施強(qiáng)制透明度要求，例如對(duì)于高風(fēng)險(xiǎn)應(yīng)用（如人工智能伴侶），應(yīng)在系統(tǒng)內(nèi)部構(gòu)建心理健康監(jiān)測(cè)與危機(jī)識(shí)別機(jī)制。監(jiān)管仍面臨諸多挑戰(zhàn)，包括跨機(jī)構(gòu)管轄、責(zé)任認(rèn)定和算法透明度要求等，這需要立法機(jī)構(gòu)、監(jiān)管部門、產(chǎn)業(yè)界與學(xué)術(shù)界的聯(lián)合推進(jìn)。

擬人化對(duì)話智能體標(biāo)志著人機(jī)交互范式的深刻變革。它們并非傳統(tǒng)意義上由人類賦予擬人屬性，而是技術(shù)本身已具備內(nèi)在的類人特質(zhì)。這既為普惠性計(jì)算和自然交互提供了巨大機(jī)遇，也帶來了操控與信任侵蝕的系統(tǒng)性風(fēng)險(xiǎn)。分析表明，當(dāng)前的技術(shù)路徑、行業(yè)實(shí)踐與社會(huì)治理體系之間正在形成明顯脫節(jié)，亟需構(gòu)建前瞻性、分級(jí)化與協(xié)同化的治理體系，以確保擬人化智能體的發(fā)展真正服務(wù)于人類福祉。

免責(zé)聲明：本文轉(zhuǎn)自啟元洞見。文章內(nèi)容系原作者個(gè)人觀點(diǎn)，本公眾號(hào)編譯/轉(zhuǎn)載僅為分享、傳達(dá)不同觀點(diǎn)，如有任何異議，歡迎聯(lián)系我們/轉(zhuǎn)載公眾號(hào)XXX！

轉(zhuǎn)自丨啟元洞見

研究所簡(jiǎn)介

國際技術(shù)經(jīng)濟(jì)研究所（IITE）成立于1985年11月，是隸屬于國務(wù)院發(fā)展研究中心的非營利性研究機(jī)構(gòu)，主要職能是研究我國經(jīng)濟(jì)、科技社會(huì)發(fā)展中的重大政策性、戰(zhàn)略性、前瞻性問題，跟蹤和分析世界科技、經(jīng)濟(jì)發(fā)展態(tài)勢(shì)，為中央和有關(guān)部委提供決策咨詢服務(wù)。“全球技術(shù)地圖”為國際技術(shù)經(jīng)濟(jì)研究所官方微信賬號(hào)，致力于向公眾傳遞前沿技術(shù)資訊和科技創(chuàng)新洞見。

地址：北京市海淀區(qū)小南莊20號(hào)樓A座

電話：010-82635522

微信：iite_er