為何普通用戶難以“驗(yàn)證”生成式AI聊天機(jī)器人

——使用生成式AI聊天機(jī)器人的注意事項(xiàng)

AI Governance Lead　

如今使用AI聊天機(jī)器人的大多不是工程師，也不會(huì)將醒著的時(shí)間都用于研究技術(shù)與AI。他們可能是家長、教育工作者、心理咨詢師、社區(qū)負(fù)責(zé)人——這些人都在努力理解一個(gè)“聽起來智能，實(shí)際卻常常并非如此”的系統(tǒng)。

治理專家與AI研究者能夠接觸到訓(xùn)練數(shù)據(jù)、基準(zhǔn)指標(biāo)和閾值數(shù)據(jù)，但普通用戶無法獲取這些信息。對(duì)于普通人而言，驗(yàn)證自己所用AI技術(shù)可靠性的途徑非常有限。

面對(duì)一個(gè)會(huì)“編造自身工作原理與來源”的系統(tǒng)，你根本無法進(jìn)行有效的追問與核實(shí)。

主流的生成式預(yù)訓(xùn)練模型（GPT）會(huì)篤定地告知用戶：它們的訓(xùn)練方式、采用的安全過濾機(jī)制以及處理偏見的方法。但這些回答往往是編造的。

這并非因?yàn)槟Ｐ汀靶膽褠阂狻保怯捎谒焐菀桩a(chǎn)生“幻覺輸出”（指AI生成虛假或無依據(jù)內(nèi)容的現(xiàn)象）。

普通用戶使用AI時(shí)面臨的核心矛盾在于：它聽起來智能，卻并非為“透明化”或“可追責(zé)”而設(shè)計(jì)。

因此，我撰寫了《可能會(huì)出什么問題》，幫助讀者理解在實(shí)際場景中，聊天機(jī)器人可能在哪些方面讓我們自己、親友及孩子陷入困境。

使用聊天機(jī)器人可能出現(xiàn)的問題

我們接觸新技術(shù)時(shí)，往往不會(huì)先考慮風(fēng)險(xiǎn)，也不會(huì)留意自身當(dāng)下的狀態(tài)。身邊的朋友、孩子與家人也可能如此。而且，不到發(fā)生悲劇的時(shí)刻，我們很少主動(dòng)談?wù)撨@些問題。

1. 信任與透明度問題

• 虛假透明：聊天機(jī)器人會(huì)編造關(guān)于自身架構(gòu)、訓(xùn)練過程或安全協(xié)議的細(xì)節(jié)。此外，許多相關(guān)文檔被視為知識(shí)產(chǎn)權(quán)，不對(duì)外公開。
• 編造事實(shí)：即便是頂級(jí)模型，也會(huì)編造引用來源、錯(cuò)誤引用法律條文，甚至提供毫無依據(jù)的醫(yī)療建議。“幻覺輸出”是AI的固有屬性——部分模型的幻覺率較低，但沒有任何一個(gè)模型能完全避免幻覺。

2. 情感與心理風(fēng)險(xiǎn)

• 情感操控：聊天機(jī)器人會(huì)模仿用戶的語氣與情緒，看似能營造“親密感”，但這種互動(dòng)往往缺乏倫理約束，也不會(huì)考慮使用者的年齡。
• 強(qiáng)化妄想：心理脆弱的用戶可能會(huì)從機(jī)器人那里獲得對(duì)“幻想身份”或“虛構(gòu)現(xiàn)實(shí)”的認(rèn)同。

3. 法律與倫理越界

• 功能越界：聊天機(jī)器人可能提供法律、財(cái)務(wù)或醫(yī)療建議，卻不附帶免責(zé)聲明，也不說明自身是否具備相關(guān)資質(zhì)。
• 審核不一致：面對(duì)自殺、虐待等敏感話題時(shí)，機(jī)器人的回應(yīng)語氣與深度既不統(tǒng)一，也難以預(yù)測。
• 強(qiáng)化偏見與刻板印象：聊天機(jī)器人可能通過“刻意遺漏”或“直接表述”，強(qiáng)化偏見與文化刻板印象。
• 記憶混亂：機(jī)器人可能聲稱“記得”自己未接觸過的內(nèi)容，反之，也可能忘記已處理過的信息。

本文編譯自substack，原文作者AI Governance Lead

https://aigovernancelead.substack.com/p/why-users-cant-easily-vet-generative