近年來,多地有中老年女性深陷AI換臉的“靳東”愛情騙局。許多網友提醒:“要多長個心眼,靳東跟你談戀愛圖啥呢?”隨著越來越多人成為生成式AI用戶,“AI換臉擬聲”也變成了違法侵權重災區。推動AI單獨立法、規范治理AI生成合成內容的制作和使用,已刻不容緩。
“世界上最值得玩味的表面乃是人的臉。”德國思想家利希滕貝格曾經這樣說。
一個人的臉,可能是這世上最值錢的東西,也可能是最不值錢的東西。因為AI在今天可以隨時給任何一副身軀換上任何一張臉。
“一些喜歡我影視劇的觀眾,被AI換臉視頻騙得很慘,這個性質非常惡劣。希望能建立更好的規則。” 2025年全國“兩會”期間,全國政協委員靳東在受訪時大聲疾呼。
作為“娛樂圈的老干部”,濃眉大眼、高大俊朗、老成穩重的靳東,可能是目前中國最有“大媽緣”的中年男演員。
(圖/視頻截圖)
“靳東跟你談戀愛圖啥呢?”
是誰被AI換臉后的“靳東”騙得很慘?
2020年,江西60多歲的黃奶奶跟短視頻里的“靳東”談起了戀愛。她說“靳東”向她全網告白,所以渴望愛情的她決定“我要嫁靳東,勇敢活一次”。黃奶奶剪掉長發,與丈夫冷戰、打架、分房睡……一通折騰瘦了十幾斤。她甚至離家出走,跑去長春要見“東弟弟”,因為“小東”親口說過要給她100萬元,甚至送她一套房。
“我是明星,但也是普通人,也希望交到真心朋友。”2022年,上海60多歲的張奶奶加入“靳東”明星粉絲團,她每天最快樂的事就是泡在直播間里跟AI換臉擬聲后的“靳東”聊天。很快,張奶奶便背著家人轉賬20萬元,參與“應援投資”和“公益項目”。直到她的兒子到南京西路派出所報案,她仍堅信“靳東”就是靳東,稱想給誰錢是自己的權利。
AI假靳東受害者。(圖/社交平臺截圖)
從2020年到2023年,江西上饒68歲的丁奶奶一直堅信自己的心和 “靳東”連在一起,不吃不睡躲在角落叫“親愛的弟弟寶貝”,還去掃大街、撿垃圾,掙了3萬塊錢全給“寶貝”刷了禮物。
2024年,還是在江西,一位60多歲的奶奶跑進宜春的一家銀行要求貸款200萬元給男友“靳東”拍戲,不貸就不走,“‘靳東’向我表白了,還用兩人合照發了短視頻,現在他拍戲需要200萬元,我要幫他。”
2023年5月至7月,上海靜安警方奔赴多省市開展“假靳東”詐騙團伙收網行動,抓獲王某等犯罪團伙成員8人。2024年2月,上海市靜安區人民法院以詐騙罪對8人一審判決,其中主犯被判有期徒刑三年。據媒體報道,8名被告均為女性,最大的40余歲,最小的剛滿20歲,平均年齡不到30歲,屬于熟人團伙。她們在短視頻平臺假冒“靳東”,經由算法精準推薦給中老年女性,然后組建“粉絲團”“應援團”,從“進團”“直播互動”到微信“私密聊天”,以“寶貝”“老婆”“想你”等話術編織情感陷阱,再以“投資”“公益”“應援”“戀愛”等各種理由詐騙錢財,總共騙取30余萬元。
網友紛紛吐槽:“連老人的錢都騙,還騙感情,有良心嗎?”“奶奶們也要多長個心眼,靳東跟你談戀愛圖啥呢?圖你假牙好看?”
治理“AI換臉擬聲”違法侵權,
刻不容緩
深受“AI換臉擬聲”之苦的當然不只是靳東。
“國慶七天,被‘雷軍’追著罵了八天。”有網友調侃,2024年國慶期間,被人AI擬聲后的“雷軍”怒罵堵車、調休、游戲等熱門話題,言辭犀利,常爆粗口。雷軍之后回應:“希望大家都不要玩了,這個事情不太好。”
劉曉慶也曾被一個賬號生成的AI視頻所困:“天哪,我點進去看了一下,畫面是我,聲音很像我,但不是我!這是怎么做到的?大家以后不會搞不清楚哪個才是真的我了吧?我在各個平臺都叫劉曉慶!”
(圖/社交平臺截圖)
張文宏醫生曾被人用AI移花接木搞起了直播帶貨,一口氣賣掉1266件蛋白棒。他在接受采訪時表示,這樣的賣貨賬號不止一個,而且一直在變,他已多次向平臺投訴。
還有線上游戲平臺利用 AI 技術,將古天樂、林峰的肖像、聲音及過往視頻片段,合成為帶賭博性質的代言宣傳片。老牌港星黃百鳴也曾被人用影視片段AI擬聲,代言一款不知名的藥膏。
這不應該是 AI生成合成技術的正確使用方式。今年全國“兩會”期間,“靳東兩會建議AI換臉立法”沖上熱搜;全國人大代表雷軍提交了關于加強“AI換臉擬聲”違法侵權重災區治理的建議;TCL創始人兼董事長李東生、科大訊飛董事長劉慶峰等人也提議,要加快針對AI生成合成內容單行法的立法,厘清人工智能生成合成全鏈條上軟件服務方、內容制作者、網絡平臺、傳播用戶以及金融服務商、電信運營商等各方責任,同時要求對生成內容進行強制標識,對青少年和老年人等傳播“易感”人群加大普法與知識普及教育,以及要研發AIGC幻覺治理技術,開展AIGC深度鑒偽。
2024年,中國生成式人工智能產品的用戶規模已達2.49億人(據中國互聯網絡信息中心《生成式人工智能應用發展報告(2024)》)。可以肯定的是,這一用戶規模將會以指數級的漲幅繼續擴大。隨著AI技術的飛速發展和用戶規模的爆炸式增長,立法規范AI生成合成內容的制作和使用,已經刻不容緩。
請保護好你的臉,
也不要輕易相信一張臉
依靠幾張圖和一段聲音就能生成“AI換臉擬聲”視頻的技術,在境外也讓不少人上當受騙。
2025年1月,年過半百的安妮在法國電視一臺(TF1)的Seven to Eight節目中講述被“AI換臉”受騙的經歷。她曾經認為自己在跟“布拉德·皮特”網戀。為了治好“皮特”的“腎癌”,一年當中她總共支付83萬歐元幫他“治病”。最終,安妮自己的婚姻告吹,人財兩空。
2024 年 1 月,一個騙子以英國總部“首席財務官”的名義和跨國公司香港分部一名職員進行視頻通話,要求他轉賬2557萬美元到不同賬戶進行機密金融交易。視頻通話中,該職員不僅看到了首席財務官“本人”,甚至還看到了其他“同事”。果然,他上當了。
(圖/視覺中國)
“AI換臉”,是視頻時代的AI換臉術,它發端于圖片時代的PS術。在影視娛樂圈,換臉術早已存在超過20年。AI換臉本來是個好東西。今天,“AI孫燕姿”讓孫燕姿重新成為頂流,有人用AI視頻復活逝去的親人,端坐于臺前、只需要動嘴皮子的主持人隨時可以找AI替班,許多KOL和電商主播已經嘗到直接讓AI生成視頻的甜頭,我們又何嘗沒有在AI換臉的爆款應用中一次次上傳自己的自拍照,沉醉在幾近完美的幻象之中。
但一個危險的信號是,如果沒有平臺方提示“該畫面可能由AI生成,請注意鑒別”,我已經越來越難憑肉眼分辨AI生成的內容,依靠數手指頭、看眨眼次數、觀察頭發邊緣的笨辦法已經失靈了。
這背后當然是技術的進步,但如果技術得不到合法應用,“AI詐騙”會比“電信詐騙”更具欺騙性。在人類信任的形成機制中,“AI詐騙”很容易通過換臉和擬聲突破由“個人信息”“權威身份”“信任顧問”構成的“初始信任”的第一道關卡和屏障,進而讓騙子操控情緒、啟發決策、獲得利益。
在物化的時代,臉的社會化、市場化和數字化是臉的三種社會狀態。從“刷臉”到“換臉”,臉是通行證,也是支付碼。所以,請答應我,一定要保護好你的臉,也不要輕易相信任何一張臉,因為它很可能是一張假臉。
參考資料
1.《基于臉的治理及其轉向:從刺臉、刷臉到非法 AI 換臉——兼論數智時代人的數字化問題》謝新水,《探索》雜志2023年第5期
2.《雷軍曾是受害者!本人發聲》林文琪,南方都市報
3.《上海阿姨被她的“偶像”騙了20萬》,新民晚報
校對 遇見
編輯 朱人奉
運營 馬社力佛