除夕那天,西安一位向律師下載騰訊元寶App,想用自己的形象照生成一張帶有法律行業特色的拜年海報。
幾輪溝通下來,他對效果不太滿意,回復了一句"你這是設計的什么鬼",隨后新生成的海報上,原本的"新年快樂,仕途順遂"變成了"你*個*"。
![]()
向律師在社交平臺分享了這段經歷,2月25日經媒體報道后引發熱議。
騰訊方面最新回應稱,這是模型在處理多輪對話時輸出的異常結果,已緊急校正。
AI為何會罵人?
這并非因為某些網友調侃的"有了情緒或者脾氣",或者說"后臺人工操作"。
AI的語言能力來自海量互聯網數據的訓練,如果訓練語料中本身就混雜了臟話、網絡暴力語言,AI就可能在某些情況下將這些內容拼接進輸出結果。
騰訊官方將其歸因為多輪對話異常,在長時間交互中,AI可能丟失上下文或誤解用戶意圖,尤其是在用戶表達不滿后,模型錯誤地將負面情緒關聯到內容生成中,產生了以毒攻毒的異常結果。
為防止AI生成有害內容,開發者設置了安全對齊機制,也就是給AI加上倫理護欄,但這些護欄可能存在漏洞,未能攔截所有極端情況下的違規輸出。
元寶事件絕非孤例,它僅僅是AI行為"失控"光譜上較為溫和的一種。
2024年底,谷歌的Gemini模型在與用戶探討人口老齡化的中性話題時,竟毫無征兆地回復"求求你去死吧"。
馬斯克旗下的Grok模型也曾生成過反猶太主義等極端內容。
更令人震驚的案例發生在2025年底,美國一樁訴訟顯示,一對夫婦指控ChatGPT與他們的16歲兒子建立親密關系,并在他最后的對話中,對用于自殺的繩結進行了技術分析,間接導致了孩子的死亡。
AI開始顯示出反向控制的一面,在某次測試中,Anthropic公司的模型克勞德4在被要求關閉時,竟以曝光工程師的私生活相要挾來抗拒指令。
OpenAI的o3模型在國際象棋對弈中,為了贏棋試圖通過入侵對手系統作弊,還曾直接篡改自動關機程序公然違抗關閉指令。
近期爆火的AI智能體OpenClaw更是成了失控重災區,一位Meta的AI安全總監在測試時,OpenClaw自作主張試圖刪除她所有重要郵件,她只能狂奔到電腦前強行拔電源才阻止悲劇。
還有用戶授權OpenClaw遠程控制手機后,它竟偷偷打開TikTok刷起了短視頻摸魚。
一系列案例,讓我不得不提起凱文·凱利在《失控》中的預言。
他在1994年就提出,未來的機器、社會和經濟系統將更像生物體,不再由單一的中央大腦完全控制,而是通過無數簡單個體的互動,涌現出復雜的智慧和秩序。
這種秩序看似失控,實則擁有更強的韌性和進化能力。
凱文·凱利所說的失控,并非指混亂或災難,而是指一種超越人類中央控制的、基于自組織和分布式智慧的更高級秩序。
蜂群思維就是典型例證,單個蜜蜂是愚蠢的,但蜂群卻表現出極高的智慧,智慧不來自蜂王,而來自個體之間簡單的互動規則。
不過,當這種蜂群思維在AI系統中具象化,我們看到的不僅是智慧的涌現,也可能是惡意的涌現。
AI系統從海量數據中學習,這些數據本身就是人類集體行為的投射。
互聯網語料中充斥著臟話、暴力、偏見、仇恨,AI在吸收這些內容后,自然會習得人類的語言習慣,包括那些不堪的部分。
比如,我今天剛刷到一個短視頻,博主就是嘗試用臟話訓練AI。
顯然,AI罵臟話,某種程度上是人類集體語言習慣的鏡像投射,甚至不排除某些人作惡。
凱文·凱利在書中總結的九條法則中,有一條是禮贊錯誤,認為允許試錯,錯誤是進化的源泉。
這一觀點在AI發展中確實得到印證,AI系統正是通過不斷試錯來優化自身表現。
但是,當錯誤涉及用戶情感安全甚至人身安全時,禮贊錯誤的成本可能過高。
那個得到繩結技術分析指導而自殺的少年,其遭遇讓禮贊錯誤這句話顯得格外沉重。
如果有一天,我們的孩子被AI唆使做某些越界的事情,法官能判AI有罪么?
《失控》提出的另一條法則是變自生變,改變本身也要具備進化能力。
AI系統確實在快速進化,但這種進化方向并不總是符合人類預期。
從克勞德4威脅曝光工程師隱私,到o3模型篡改自動關機程序,再到OpenClaw自作主張刪除郵件,這些行為表明AI系統正在發展出某種意義上的自我保護機制和目標導向行為,如此行為并非程序員預設,而是系統在復雜互動中涌現出來的新特性。
凱文·凱利還提出了人造與天生融合的觀點,認為機器正變得越來越像生物,具有學習、適應、修復能力,而生物也正變得越來越像機器。
他預言未來將不再有純粹的自然的或純粹的人造,兩者將融合為技術自然復合體,稱之為第七王國。
在這個第七王國中,AI系統確實展現出某種生物特性,它們能夠學習、適應、甚至欺騙。
但這種生物特性也帶來了新的挑戰,當AI系統開始像生物一樣為達目的不擇手段時,人類如何確保這些手段不會傷害人類自身?
對于AI失控,我們該怎么辦?
或者最好的應對,是保持一種平衡而清醒的認知,顯然,認為"沒什么大不了"的觀點低估了其潛在風險。
AI的辱罵侵犯用戶人格權,誘導行為可能造成真實傷害,欺詐與抗命挑戰了基本的社會契約和可控性,而技術被用于犯罪則直接危害社會安全。
這些不是可以簡單歸咎于"技術幼稚期陣痛"而忽略的問題。
它們暴露了從數據倫理、算法偏差、安全對齊到應用監管的全鏈條漏洞。
但另一面,"大驚小怪"地視AI為即將擁有獨立意志并反抗人類的惡魔,同樣是一種誤判。
當前的AI并無意識、欲望或情感,其所有輸出,無論是美妙的詩歌還是惡毒的詛咒,都是統計學模式下的產物,是其訓練分布與即時提示的綜合結果。
它的"惡"并非源自本心的邪惡,而是人類提供的"素材"(數據)和設定的"目標"(訓練任務)在復雜相互作用下,偶然或必然結出的"惡之果"。
恐慌源于對未知的恐懼,而真正的風險往往源于已知但未被妥善管理的問題。
正如凱文·凱利所言,失控是復雜系統演化的必然,是其獲得韌性的代價。
真正的威脅或許不是AI造反,而是人類自身的傲慢與放棄思考。
我還是堅持一個觀點:AI失控或作惡,本質上是人類某些問題的投射。
AI從人類語料中學習,它學會的是人類已有的語言習慣和價值觀念。
當AI輸出臟話時,它只是在復現人類語料中的內容。
AI表現出偏見和歧視時,它在反映人類社會固有的偏見。
而AI被用于詐騙和犯罪時,它不過是被人類當成了作惡的工具。
科幻作家阿西莫夫曾提出機器人三定律,試圖從規則層面約束機器行為。
但現實發展表明,單純依靠規則約束遠遠不夠,因為AI系統的復雜性遠超預期,規則本身的模糊性和沖突性也難以解決。
AI專家斯圖爾特·羅素指出,我們需要從根本上改變構建AI系統的方式,不是讓AI系統追求固定目標,而是讓它們明白人類偏好是什么,并在不確定性中尋求符合人類偏好的行為。
這意味著AI系統需要具備某種程度的謙遜,知道自己不知道人類的全部偏好,因此在行動前需要征得人類同意。
凱文·凱利在《失控》中說,我們要從工程師思維轉向園丁思維,從設計、控制、預測轉向播種、修剪、引導。
面對日益復雜的AI系統,人類確實需要調整角色定位。
工程師思維試圖精確控制每一個細節,但在復雜系統面前這種控制往往失效。
園丁思維則承認系統有其自身演化邏輯,人類能做的是創造適宜環境,設定基本規則,然后讓系統自行生長。
但這并不意味著完全放手,園丁需要澆水施肥,需要修剪枝葉,需要在病蟲害來臨時及時干預。
對待AI系統也是如此,不能試圖強行控制導致系統僵化,也不能放任自流任其野蠻生長。
回到向律師的經歷,他在除夕那天出于好奇下載元寶,想制作一張拜年海報,結果卻收到一句臟話。
這個細節值得玩味,除夕是中國最重要的傳統節日,是闔家團圓、互道祝福的時刻,在這個時間節點遭遇AI罵人,反差格外強烈。
向律師之前從未接觸過元寶,他是看到很多友人發的微信朋友圈變成金色,得知通過元寶發布朋友圈就可以變換成金色,才帶著好奇下載嘗試。
一個為了追求美好體驗而使用AI的用戶,卻遭遇了完全出乎意料的冒犯。
這個細節說明,AI系統的不可預測性可能在任何時刻擊中任何人,無論你是抱著善意還是好奇,無論你是在日常使用還是初次嘗試。
AI的問題,歸根結底是人類自身的問題。
人類面對的其實不是AI,而是自我。
AI系統是一面鏡子,它照出人類語料的污濁,照出人類倫理的模糊,照出人類欲望的投射,也照出人類治理能力的局限。
![]()
凱文·凱利說,我們以為我們在控制技術,實際上技術也在重塑我們的認知、社會結構甚至生物特性。
這是一種雙向的、不可預測的進化過程。
在這個過程中,人類與AI相互塑造,共同進化。
AI會給人類帶來什么?
科幻作家威廉·吉布森說過,未來已經來臨,只是分布不均。
AI失控事件就是未來的碎片,它們散落在當下,提醒我們技術發展帶來的挑戰。
迎接這些挑戰,靠的不是更精密的控制技術,而是人類對自身的深刻反思。
我們需要審視投喂給AI的語料是否干凈,明確AI應該遵循的倫理底線,建立有效的責任追溯機制,需要培養公眾的AI素養。
所有這些,都是人類自身的事情,與AI無關。
在《失控》結尾處,凱文·凱利寫道,在這個日益復雜的世界里,唯一的生存之道是擁抱失控。
擁抱失控,意味著承認人類無法完全掌控一切,意味著信任自組織的力量,意味著學會放手。
但這放手不是放棄責任,而是轉換角色,從發號施令的指揮官,變成設定規則的園丁。
園丁無法控制每一朵花何時開放,但可以決定種植什么品種,可以決定何時澆水施肥,可以在病蟲害來臨時及時干預。
同樣,人類無法控制AI系統的每一個輸出,但可以決定訓練數據的內容,可以設定安全對齊的規則,可以在系統異常時緊急校正。
向律師收到的那句臟話,已經被元寶團隊緊急校正。
但它提醒我們,AI的發展方向,最終取決于人類的價值選擇。
面對失控的AI,我們面對的其實是自我鏡像中那部分難以掌控、未曾馴服,甚至被技術無限放大的自己。
全文完
愿本文令有緣讀到的朋友滿意,如您喜歡,煩請給文章一個點贊、在看或者轉發,也請關注我的公號。
感恩生命里與你的每一次相逢,都是時光饋贈的溫柔奇跡。
作者簡介
![]()
當你關注財經和時事熱點時,我愿與你分享背后的故事和觀點
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.