一個(gè)AI恐怖故事：我在色情網(wǎng)站，看到了自己

Photo by Bermix Studio on Unsplash

?產(chǎn)業(yè)象限原創(chuàng)

對(duì)話丨錢江

編輯｜山茶

“我在群里看到你，是你嗎？”

在韓國(guó)，如果有朋友給你發(fā)來這句問候，不要誤會(huì)，他大概率不是要和你敘舊，因?yàn)榻酉聛硭o你發(fā)的，很可能就是你的裸照。

看著屏幕，你如遭雷擊，腦子一片空白。雖然你百分百確認(rèn)自己從來沒有拍攝這樣的照片，可手機(jī)屏幕里的那個(gè)人眉目清楚，卻又分明就是你。

你不明白發(fā)生了什么，心臟被攥緊，恐懼開始在全身蔓延。

照片當(dāng)然和女孩兒無關(guān)，它是由一種名叫深度偽造（DeepFake）的技術(shù)生成，這種技術(shù)在國(guó)內(nèi)更被人熟知的稱呼是“AI換臉”。在如今的韓國(guó)，這種技術(shù)正在變成一團(tuán)巨大的陰影，籠罩在所有女性的頭頂，帶來恐慌和迫害。

在韓國(guó)，犯罪者通過DeepFake將普通人的形象替換到色情圖片或視頻中，然后通過社交媒體上進(jìn)行傳播，對(duì)當(dāng)事人進(jìn)行羞辱。

據(jù)《朝鮮日?qǐng)?bào)》的報(bào)道，最近一周在警方發(fā)現(xiàn)的相關(guān)Telegram社群里，參與制作和傳播DeepFake的加害者已多達(dá)23萬人。這些人不局限在韓國(guó)，也來自世界各地。

另?yè)?jù)一位韓國(guó)網(wǎng)友在X上發(fā)布的帖子表示，受到DeepFake影響的受害者已經(jīng)遍及韓國(guó)數(shù)百所國(guó)中、高中和大學(xué)。這些受害者中，80%是女性，她們有的還在念初高中，屬于未成年人、有的是大學(xué)生或者教師，其中甚至包括女性軍人，她們的照片被稱為“軍需品”。

▲X上披露受Deepfake技術(shù)影響的校園名單

回顧這場(chǎng)風(fēng)暴，DeepFake無疑是其中的關(guān)鍵。但它卻并不是一項(xiàng)新技術(shù)，最早出現(xiàn)在2016年的DeepFake到如今已有將近十年的歷史。

這十年間，DeepFake一直游走在罪惡和法律的邊緣，不斷挑戰(zhàn)著人性和道德的底線。從美國(guó)到中國(guó)，從韓國(guó)到印度，DeepFake每隔一兩年就會(huì)有一次技術(shù)突破，然后又給這個(gè)世界帶來一場(chǎng)更大的恐慌。

技術(shù)有罪嗎？DeepFake好像確實(shí)如此。但技術(shù)真的有罪嗎？卻似乎又與DeepFake無關(guān)。

被害人，從明星到百姓

追溯起來，DeepFake 最早出現(xiàn)在2016年。

當(dāng)時(shí)，機(jī)器視覺還是全球AI研究最熱門的方向之一，一些研究人員在研究機(jī)器視覺的過程中使用DCNN（深度卷積神經(jīng)網(wǎng)絡(luò)）實(shí)現(xiàn)了人臉識(shí)別、表情轉(zhuǎn)換以及其他與圖像處理相關(guān)的任務(wù)，這是DeepFake最早的雛形。

差不多一年之后，以這些技術(shù)為基礎(chǔ)，科研人員進(jìn)一步采用GAN（生成對(duì)抗網(wǎng)絡(luò)）實(shí)現(xiàn)了生成逼真的人臉圖像。之后，“換臉”很快以極具破壞性的首秀向大眾展示它的威力。

2017年，一位Reddit用戶在Reddit新建了一個(gè)名為“DeepFake”的社區(qū)，開始用名人的肖像來制作色情內(nèi)容進(jìn)行傳播。知名女星斯嘉麗·約翰遜（Scarlett Johansson）、加爾·加朵（Gal Gadot）都成為了受害者，其帶來的惡劣影響，也曾喧囂一時(shí)。

后來，這個(gè)社區(qū)雖然被很快刪除了，但“DeepFake”這個(gè)名字卻被保留了下來，并成為AI合成內(nèi)容的代名詞。

在這個(gè)階段，DeepFake還掌握在以學(xué)術(shù)研究為主的少數(shù)群體手中，導(dǎo)致它的使用仍然存在一些門檻。直到2019年，開源工具FaceSwap將DeepFake的應(yīng)用從學(xué)術(shù)研究普及到大眾，然后第一個(gè)廣泛流行的DeepFake應(yīng)用FakeApp就隨之出現(xiàn)，它讓非技術(shù)人員也能輕松創(chuàng)建DeepFake視頻。

DeepFake從此開始越來越普遍，從2019年到2020年，DeepFake頻繁引發(fā)各類公共事件，其影響范圍也從娛樂色情擴(kuò)展到經(jīng)濟(jì)社會(huì)的各個(gè)方面，甚至包括總統(tǒng)選舉。

而韓國(guó)新N號(hào)事件最大的一個(gè)變化在于，它說明DeepFake的受害者正在加速平民化，未來DeepFake的受害者，不再局限于明星政要，包括你我在內(nèi)，每一個(gè)人都有可能成為新的受害者。

▲DeepFake相關(guān)代表事件

如今，隨著AI大模型技術(shù)的發(fā)展，制作一張DeepFake圖片的成本幾乎已經(jīng)可以忽略不計(jì)。

這次韓國(guó)新N號(hào)房之所以波及范圍如此之廣，一個(gè)重要的原因是，在Telegram上隨便加入一個(gè)DeepFake的社群，就會(huì)獲得兩次免費(fèi)的圖片生成機(jī)會(huì)。

“將你喜歡的女生照片發(fā)給我?！边@是很多人加入在Telegram上加入DeepFake社群的第一步。

兩次免費(fèi)的生成機(jī)會(huì)之后，新的內(nèi)容生成雖然需要付費(fèi)，但價(jià)格也并不高，每一次只需要支付一顆鉆石（Telegram的一種加密貨幣，約合0.49美元，3.49元人民幣）。而且和所有充值辦卡的邏輯一樣，充得越多，價(jià)格還會(huì)越便宜。

當(dāng)然，你也可以選擇不付費(fèi)，那么你只需要再邀請(qǐng)一位新朋友加入，就可以再獲得一次免費(fèi)生成的機(jī)會(huì)。由一個(gè)人拉來另一個(gè)人，罪惡通過熟人關(guān)系進(jìn)行裂變，然后如病毒般擴(kuò)散[1]。

這也導(dǎo)致另一個(gè)問題，那些所有通過DeepFake生成的淫穢內(nèi)容，都由熟人進(jìn)行制作，并在熟人圈子里進(jìn)行傳播。

比如在韓國(guó)學(xué)校里，許多人就將身邊朋友的照片用來生成淫穢色情內(nèi)容。很多照片，可能就來自你剛剛生日，或者旅游之后在社交媒體發(fā)布的美照。

由于熟人的關(guān)系，這些“臉”屬于誰(shuí)也通常被標(biāo)記得一清二楚。你可能會(huì)莫名收到來自陌生人的短信或者郵件，對(duì)方能夠明確指出你學(xué)校和班級(jí)，或者你的工作單位和家庭住址，然后在末尾放上一段由“你”出演的性愛視頻。

▲韓國(guó)媒體報(bào)道中的Telegram截圖 圖源微博

對(duì)于身處其中的受害者而言，這件事情最可怕之處在于，你不知道平日里衣冠楚楚的朋友們，會(huì)不會(huì)就是這23萬人中的一員；你不知道之前發(fā)布在社交媒體的照片會(huì)不會(huì)已經(jīng)被他們保存下來，然后替換到那些淫穢不堪的場(chǎng)景當(dāng)中。

你不知道他們會(huì)把這些照片發(fā)給誰(shuí)，如何對(duì)著這些東西對(duì)你品頭論足，身邊又有多少人看過這些內(nèi)容。

你只知道，這個(gè)世界有一雙無形的眼睛，在不為人知處默默的注視著、覬覦著你。

只是一場(chǎng)游戲

受害者們自然不會(huì)緘口不言。

8月份以來，韓國(guó)女性開始在國(guó)內(nèi)外互聯(lián)網(wǎng)平臺(tái)上進(jìn)行抗議，要求將“加害者”繩之以法。但當(dāng)韓國(guó)女性四處求告之時(shí)，加害者們卻頗有一種漫不經(jīng)心，不以為然的態(tài)度。

有韓國(guó)女孩兒截圖犯罪者的言論，他們將受害者的抗議當(dāng)作是一種女權(quán)主義，并表示“女人們對(duì)這件事情過分夸張”。

韓國(guó)媒體的報(bào)道中也提到許多有關(guān)犯罪者的言論，他們說用熟人的形象制作深偽色情內(nèi)容“只是覺得有趣”、“只是在開玩笑”、以及“用熟人的照片P圖更真實(shí)”，而當(dāng)有人說這樣做犯法時(shí)，他們甚至發(fā)出“只有傻瓜才會(huì)被被警察逮住”的言論。

▲在微博求助的韓國(guó)網(wǎng)友

是的，這件讓許多受害者深感痛苦的事情，在許多在許多加害者眼中只是一場(chǎng)“游戲”。

韓國(guó)媒體Pressian報(bào)道，截至今年6月，Telegram上一個(gè)名叫“朋友COCKHERO（Cock Hero）chat”的群聊中[2]，已有數(shù)百名參與者上傳自己女性朋友的照片或視頻，然后利用DeepFake將它們制作成淫穢內(nèi)容。

他們?nèi)毫睦锓窒硭夭暮妥约褐谱鞯膬?nèi)容，甚至有人在群里表示，“請(qǐng)用我的朋友制作的Cock Hero并分享一些感想”，并將其視為一種榮譽(yù)。當(dāng)然，他們也會(huì)對(duì)受害女性的外貌，以及被性剝削的可能品頭論足。

在這個(gè)過程中，參與者被要求提供更多的素材，并表示“提供女性朋友的照片和視頻越多，生成的深偽內(nèi)容質(zhì)量就越好”。

當(dāng)然，這也只是數(shù)千甚至上萬個(gè)Telegram群聊中的一個(gè)，沒有人知道Telegram上這樣的群聊有多少。

而隨著參與者的逐漸增多，這場(chǎng)由所謂“玩笑”引發(fā)的深偽色情內(nèi)容制作正在變得越來越有組織，有預(yù)謀，并逐漸有脫離網(wǎng)絡(luò)犯罪范疇的跡象。

韓國(guó)媒體報(bào)道，現(xiàn)在已經(jīng)有越來越多的受害者收到恐嚇內(nèi)容。施暴者通過制造深偽色情內(nèi)容對(duì)受害者進(jìn)行威脅，并索要錢財(cái)。許多加害者甚至開始討論，如何將受害者綁架并將其變成性奴隸。

正如同潘多拉魔盒里的罪惡，DeepFake也正在沖破其“虛擬”的屬性，變得一發(fā)不可收拾。

DeepFake，法外之地？

面對(duì)這些問題，許多人肯定會(huì)有一個(gè)直接的疑問：法律難道不管嗎？

答案是管，但管的不多，且不同國(guó)家和地區(qū)法律能夠干預(yù)的程度也有所不同。

比如今天DeepFake內(nèi)容泛濫最嚴(yán)重的韓國(guó)，雖然在2019年的“N號(hào)房”事件和2020年“傳播虛假視頻”事件后，韓國(guó)當(dāng)局在《性暴力處罰法》中增加了“數(shù)字性犯罪”的概念和相應(yīng)的處罰條款，但約束能力實(shí)在有限。

與非法拍攝的視頻不同，在韓國(guó)，單純擁有和觀看深度偽造視頻是不會(huì)受到處罰的。而即使你利用DeepFake制作了破壞受害人人格的非法深度偽造圖像或者視頻，但只要你說你沒有“以傳播為目的”，你依然可以避免受到懲罰[3]。

這也是韓國(guó)在處理新N號(hào)房事件時(shí)出現(xiàn)非常多非常戲劇性案例的原因。

比如在今年一場(chǎng)針對(duì)Telegram上制作DeepFake內(nèi)容的社群進(jìn)行調(diào)查時(shí)，雖然警方知道社群的參與人數(shù)達(dá)到1200人，但卻僅有一人被捕。而他被捕的原因，是因?yàn)樗麑⑷豪锏腄eepFake內(nèi)容傳播到了其他地方。除了他之外，這個(gè)社群包括運(yùn)營(yíng)方在內(nèi)，沒有一個(gè)人受到懲罰。

除了韓國(guó)之外，美國(guó)、英國(guó)、歐盟針對(duì)DeepFake的內(nèi)容也都有相應(yīng)的法律，但各個(gè)國(guó)家的側(cè)重點(diǎn)和保護(hù)力度有所不同。

其中，美國(guó)的相關(guān)法律更傾向于保護(hù)政治選舉的可靠性。

加利福利亞州明確提出禁止DeepFake在政治和性侵害方面的施暴，并且條款具體，比如提出“禁止在選舉前60天內(nèi)傳播可能影響選舉結(jié)果的虛假視頻”。

但在聯(lián)邦層面上，美國(guó)缺乏統(tǒng)一的DeepFake法規(guī)。各州的法律執(zhí)行在跨州和跨國(guó)案件中面臨困難，尤其是在涉及跨境的DeepFake內(nèi)容傳播時(shí)，這些法律可能面臨執(zhí)行力不足的情況。

英國(guó)的《誹謗法》可以用于打擊涉及DeepFake的誹謗行為，但這種法律通常需要受害者主動(dòng)提起訴訟，成本高、時(shí)間長(zhǎng)，普通人可能難以負(fù)擔(dān)。

雖然英國(guó)明確對(duì)傳播渠道作了規(guī)定，但DeepFake內(nèi)容的跨國(guó)性傳播使得法律的執(zhí)行復(fù)雜化，可能削弱其實(shí)際效果。

歐盟的法律相對(duì)比較嚴(yán)格，《一般數(shù)據(jù)保護(hù)條例》（GDPR）和《數(shù)字服務(wù)法》（DSA）通過嚴(yán)格的隱私保護(hù)和數(shù)字內(nèi)容管理要求，對(duì)DeepFake技術(shù)的濫用進(jìn)行限制，并對(duì)違反規(guī)定的公司施加了高額罰款。這些法律要求平臺(tái)對(duì)DeepFake內(nèi)容負(fù)有更高的責(zé)任，必須主動(dòng)監(jiān)測(cè)和移除虛假信息。

▲世界各國(guó)DeepFake法律法規(guī)一覽

而與大多數(shù)國(guó)家不同，中國(guó)針對(duì)DeepFake的內(nèi)容，特別是涉及淫穢色情內(nèi)容的部分，管理要更加嚴(yán)格。

今年3月份，杭州互聯(lián)網(wǎng)法院就曾審結(jié)一起關(guān)于利用AI換臉傳播淫穢色情內(nèi)容的案件。

這個(gè)案子發(fā)生在2020年，和韓國(guó)人在Telegram上的玩法一樣，案犯通過AI工具制作換臉視頻，然后在社交軟件上創(chuàng)建社群進(jìn)行分發(fā)。

案犯創(chuàng)建的社群名叫“瀏覽群”和“私人訂制群”。瀏覽群主要用來傳播DeepFake視頻，招攬觀眾和客戶；定制群則支持付費(fèi)定制，按照5分鐘300元，10分鐘500元的標(biāo)準(zhǔn)收費(fèi)。案犯在審理中表示，“只要能看到臉的都能換，有人甚至要定制暗戀女生的換臉視頻?！?/strong>

經(jīng)過審理，該案犯最終因侵犯公民個(gè)人信息，以及制作、傳播淫穢物品牟利罪被判有期徒刑七年三個(gè)月。

通過這個(gè)案件我們也能看到，在中國(guó)通過DeepFake制作色情內(nèi)容進(jìn)行傳播，其犯罪成本要比國(guó)外高很多。

這樣的好處自然是中國(guó)沒有出現(xiàn)DeepFake內(nèi)容大規(guī)模泛濫的問題，但另一面，也有更多人開始不滿足于高風(fēng)險(xiǎn)低回報(bào)的情色內(nèi)容制作，而開始鋌而走險(xiǎn)，通過AI換臉技術(shù)進(jìn)行電信詐騙。

可以看到，在中國(guó)犯罪成本比在韓國(guó)要高很多。所以很多人利用AI換臉技術(shù)，并不是制造淫穢色情內(nèi)容，而是電信詐騙，而這種DeepFake也不止局限于面目，甚至包括聲音和個(gè)人身份信息。

2022年以來，隨著生成式AI技術(shù)的發(fā)展，國(guó)內(nèi)電信詐騙案件持續(xù)高漲。

20多年前的2000年，中國(guó)刑事案件中盜竊案件占比最多，達(dá)到總量的60%，反扒小組曾一度成為一個(gè)專門的警察編隊(duì)。20多年后的今天，網(wǎng)絡(luò)電信詐騙取而代之，成為新的“時(shí)代罪惡”[4]。

據(jù)中國(guó)警察協(xié)會(huì)最新數(shù)據(jù)，2024年上半年，詐騙占刑案的比例上升至60%，其中絕大部分是網(wǎng)絡(luò)電信詐騙。這是一個(gè)時(shí)代的變遷。

技術(shù)的發(fā)展，似乎在給這個(gè)社會(huì)帶來更多的疼痛。

結(jié)語(yǔ)

在歷史的傳統(tǒng)敘事中，人們喜歡將DeepFake這樣的事物歸結(jié)為原罪，比如魔丸轉(zhuǎn)世的哪吒，或者希臘神話中的阿多尼斯。但現(xiàn)代社會(huì)，我們并不這么思考問題。

2014年，因P2P（peer to peer）分享傳輸技術(shù)而成為“宅男神器”的快播轟然倒塌，創(chuàng)始人王欣被逮捕。兩年之后，王欣在案件庭審中為自己和快播做出了一番經(jīng)典的辯護(hù)——技術(shù)無罪。

在王欣的理論中，自己和快播只是創(chuàng)造了一項(xiàng)技術(shù)，至于用戶拿他做什么，與他無關(guān)。

但這件事情并沒有回答，為什么技術(shù)帶來的罪惡仍然頻頻出現(xiàn)。直到兩年后，在距離王欣受審的法院不到20公里的地方，騰訊研究院舉辦了一場(chǎng)活動(dòng)，它的主題是“科技向善”。

食，色，性也。

技術(shù)發(fā)展的難點(diǎn)，除了技術(shù)本身之外，更本質(zhì)的難點(diǎn)在于，如何限制撬動(dòng)人性“惡”的杠桿。而在騰訊的理念中，使用技術(shù)的人本身應(yīng)該承擔(dān)起這樣的責(zé)任，人類應(yīng)該善用科技，避免濫用，杜絕惡用。

如今，科技向善已經(jīng)被越來越多企業(yè)接受，成為中國(guó)技術(shù)發(fā)展的一項(xiàng)底層理念，但科技向善，卻是一個(gè)更長(zhǎng)久的課題。

* 文中配圖來源于網(wǎng)絡(luò)

參考資料：

[1]韓民族日?qǐng)?bào)《???? ???? 22??…???? “???? ?? ?? ???”》記者 ???

[2]ZUM《[??] '????→????→???'…???? ??? '????'》作者 ? ??? ??????

[3]韓民族日?qǐng)?bào)《??? ?? ? ?? ‘???? ????’ ???…??? 1200?》記者 ???

[4]鳳凰網(wǎng)《詐騙已占刑事案件60%：上海反詐中心探訪實(shí)錄》作者 燕青