文、圖 / 羊城晚報全媒體記者 羅清峣

越來越多的人對于 AI 雙刃劍效用感到擔憂。近日，以深度偽造技術（Deepfake）為核心技術的 AI 換臉、語音模擬相關新聞層出不窮。5 月 22 日，一騙子使用智能 AI 技術十分鐘詐騙 430 萬元；B 站音樂區 up 主掀起了一波 AI 翻唱熱潮，AI 孫燕姿全網走紅；帶貨主播 AI 換臉成女明星引發熱議……隨著 AI 技術的發展，其自身的安全、倫理等問題越來越重要，如何明晰真偽邊界，讓科技持續 " 向善 "，這是一個持久性的命題。

【資料圖】

換臉直播

動動手指能變性別

業內人士分不清真偽

" 看了好幾個直播間，我都驚呆了，要么是佟麗婭，要么是迪麗熱巴，全都把臉換成了明星帶貨。" 近日，從事直播行業的小美在社交媒體上的發言引發大量討論。記者發現，不少商家把主播 AI 換臉成女明星進行帶貨已成常態，有些直播間的 AI 換臉達到了以假亂真的地步，如果不是一些非常明顯的破綻，一般人根本分不清 " 真假女明星 "。

為了查看 AI 換臉直播與真人直播的區別，記者順著多位網友的爆料，來到了某個以 s 開頭的服裝品牌的直播間，該品牌每天會在平臺上進行直播帶貨，而主播疑似 "AI 換臉 " 女星楊冪，" 五官幾乎一模一樣，連牙齒都一樣。" 爆料人表示，自己曾向該品牌的客服質疑主播是 AI 換臉，官方客服回應她 " 長得像，化妝的 "。

為了驗證官方回復是否屬實，記者邀請業內人士，英荔人工智能教育研究院成員陳海權一同到該直播間觀看直播。十分鐘內，除了出現了數次臉型突然變大或者變小的情況外，沒有其他破綻出現。陳海權表示，這個破綻無法判斷是 AI 換臉時出現的識別失誤還是真人的瘦臉特效。他表示，以目前的技術，只要有足夠的預算和時間，可以把 AI 臉做得基本和真人無異，僅憑人眼基本無法分辨是 AI 換臉還是真人，" 除非發現特別的破綻，普通人很難區分 "。

也正好是看到了 " 破綻 "，不然小包還發現不了賣茶葉的不是迪麗熱巴，差點上當。小包告訴記者，她五月中旬在抖音直播間看到一個五官和迪麗熱巴幾乎一模一樣的主播在售賣茶葉，" 最后兩單在三號鏈接，老板們趕緊下單。" 說著說著，主播低下了頭，" 主播低頭整理頭發的時候，腦門上全是黑的。" 這時，她才知道主播不是真的迪麗熱巴。

記者發現，目前網絡平臺上有多款可以進行 AI 換臉的軟件出售，售價從幾十元到上萬元不等。有男博主表示，花 99 元購買軟件之后，只用一臺電腦和一個攝像頭就能讓人 " 換個面容 " 直播。記者來到該博主的直播間，看到他確實只用 " 動動手指 "，就能使用軟件把自己從一個男性變成 " 膚白貌美 " 的女性。

語音模擬

"AI 孫燕姿 " 擁有超千首作品

孫燕姿感嘆人類無法超過 AI

記者了解到，AI 換臉使用到了深度偽造技術（Deepfake），該技術能將圖片或視頻合并疊加到源圖片或視頻上，借助神經網絡技術進行大樣本學習，將個人的聲音、面部表情及身體動作拼接合成虛假內容的人工智能技術。該技術的運用除了最常見的 AI 換臉外，還包括人臉合成、視頻生成以及語音模擬等。在語音模擬中，最貼近生活的例子就是地圖軟件里的明星語音包，目前許多地圖還推出了語音定制服務，用戶只需要錄入 3-9 句話，就能擁有定制語音包。

" 諷刺的是，人類無法超越它已指日可待 "5 月 23 日，歌手孫燕姿《我的 AI》一文，首度回應了自己對 AI 技術的看法。據了解，近來 B 站音樂區 up 主掀起了一波 AI 翻唱熱潮。在 AI 技術的加持下，孫燕姿、周杰倫、林俊杰、陳奕迅等大咖紛紛化身 "AI 點唱機 "。據不完全統計，目前 "AI 孫燕姿 " 已經擁有超過 1000 首翻唱作品，最火的作品播放量甚至突破百萬。

" 你跟一個每幾分鐘就推出一張新專輯的‘人’還有什么好爭的。" 孫燕姿在文中自嘲，她感嘆人類再怎么快也無法超越 AI 技術。" 你并不特別，你已經是可預測的，而且不幸的是，你也是可塑的。"

律師分析

擅自使用藝人肖像進行商業活動

侵犯了明星的肖像權

但無論是 AI 換臉明星還是語音模擬明星翻唱，都可能造成侵權。

廣州徑文律師事務所律師陳文妍表示，未經明星允許，或未經經紀公司授權，擅自使用藝人肖像進行商業活動，侵犯了明星的肖像權。" 使用 AI 換臉的技術，若導致了特定主體的形象被扭曲，且視頻大量傳播后導致主體的社會評價顯著降低，就又侵害了這個主體的名譽權。" 清華大學法學院博士研究生孫鴻亮補充道，根據個人信息保護法的規定，若是沒有正當化事由去處理人臉信息，既侵害了個人信息權益，也侵害了隱私權。

孫鴻亮表示，根據民法典和個人信息保護法的規定，侵權人要承擔侵權損害賠償責任，制作短視頻的人獲得的利益全部要賠償給權利主體。

不少明星已經拿起法律的武器對付商業 AI 換臉行為，記者查閱到，2021 年 9 月歌手林俊杰曾狀告上海寬娛數碼科技有限公司、肖某，公告詳細顯示為肖像權糾紛，肖某在 B 站的個人賬號中發布了多個娛樂視頻，林俊杰的肖像被 AI 換臉放在了視頻中，最后法院判肖某公開賠禮道歉，并向原告賠償經濟損失，精神損害撫慰金等 275000 元。

如今很多商家為了規避風險，會使用許多特效，改變 AI 換臉明星后的某些特征，讓主播和明星 " 似像非像 "，該行為能否認定為侵權呢？陳文妍表示，肖像權最核心的是可識別性，" 如果換了臉后，普通人能夠一眼看出他就是某個明星，也可以認定為侵權。"

為何對于商業 AI 換臉行為法律明令禁止卻還屢禁不止？陳文妍認為原因是，目前 AI 技術屬于較新的技術，在現實當中還沒有很多的司法實踐和判例，" 所以許多商家都想嘗一嘗，試一試。"

AI 詐騙

高科技詐騙層出不窮

有人十分鐘被騙 430 萬元

官方提示轉賬前辨別身份

如果說通過 AI 換臉進行商業行為只是侵害了某些特定人群的權益，那么近期多起在國內外發生的利用 AI 技術實施的電信詐騙案件則是面向整個社會的犯罪行為，需要全社會重視起來，進行預防和反制。

近日，包頭警方發布一起利用人工智能（AI）實施電信詐騙的典型案例沖上熱搜。福州市某科技公司法人代表郭先生 10 分鐘內被騙 430 萬元。4 月 20 日中午，郭先生的好友突然通過微信視頻聯系他，自己需要 430 萬元保證金，想借郭先生公司的賬戶走賬，好友向郭先生要了銀行卡號，還把銀行轉賬底單的截圖通過微信發給郭先生。基于對好友的信任，加上已經視頻聊天核實了身份，郭先生沒有核實錢款是否到賬，十分鐘內，就分兩筆把 430 萬元轉到了好友朋友的銀行卡上。

轉賬完畢后，郭先生撥打好友電話，好友不知道此事，他這才反應過來，原來他遇上了高端的電信詐騙。騙子通過智能 AI 換臉和擬聲技術，佯裝好友對他實施了詐騙。幸運的是，接到報警后，警方成功止付攔截 336.84 萬元，但仍有 93.16 萬元被轉移，目前正在全力追繳中。

記者再以 "AI 電信詐騙 " 為關鍵詞進行檢索，發現近年來此類案例還不少，據平安包頭、交口政法等官方通報，常州的小劉接到 " 初中同學 " 視頻電話后，" 借 " 了 6000 元給騙子；公司財務小王接到領導電話信以為真，轉款 2 萬元給騙子；王某接到省外某派出所 " 警官 " 微信視頻，對方宣稱，王某涉嫌洗錢等違法犯罪，需要向 " 安全賬戶 " 轉賬，因對方通過視頻與王某進行了 " 交流 "，王某深信不疑，最終受騙……

利用高科技實施電信詐騙，對普通老百姓來說，等同于 " 降維打擊 "，該如何預防 AI 詐騙呢？共青團北京市委員會官方微博提供了兩個識別 AI 換臉的小技巧：在視頻聊天時，如果擔心有對方有 AI 換臉詐騙的可能，你可以要求對方，將一根手指或者其他物體放在臉前來回移動。也可以要求對方左轉或者右轉，然后觀察他的側臉。

新規實施

加強深度合成內容管理

建立健全辟謠機制和申訴、投訴、舉報機制

值得慶幸的是，越來越多的人和相關機構關注到了深度合成技術的安全問題，記者了解到，今年 1 月 10 日起施行的《互聯網信息服務深度合成管理規定》，從技術提供者、服務使用者以及監管等各方面，對技術的應用提出規范。

新規要求深度合成服務提供者主體不得利用深度合成服務從事違法活動，還要建立健全用戶管理制度，制定和公開管理規則等，加強深度合成內容管理，建立健全辟謠機制和申訴、投訴、舉報機制。同時要求深度合成服務提供者落實信息安全主體責任，建立健全管理制度和技術保障措施，制定公開管理規則、平臺公約，對使用者進行真實身份信息認證，明確應用程序分發平臺應當落實安全管理責任，核驗深度合成類應用程序相關情況。

此外，《規定》也提出了明確的數據和技術管理規范。其中包括，深度合成服務提供者和技術支持者提供人臉、人聲等生物識別信息編輯功能的，應當提示深度合成服務使用者依法告知被編輯的個人，并取得其單獨同意。

五月初，相關短視頻平臺也發布關于人工智能生成內容的平臺規范及行業倡議。要求創作者、主播、用戶、商家、廣告主等平臺生態參與者，在應用生成式人工智能技術時，遵循規范，發布者應對人工智能生成內容進行顯著標識，幫助其他用戶區分虛擬與現實；禁止利用生成式人工智能技術創作、發布侵權內容，包括但不限于肖像權、知識產權等。一經發現，平臺將嚴厲處罰；禁止利用生成式人工智能技術創作、發布違背科學常識、弄虛作假、造謠傳謠的內容。

同時平臺將提供虛擬人的注冊能力，并對已注冊的虛擬人形象進行保護；平臺將提供用戶反饋渠道，方便用戶反饋違規生成內容。

( 更多新聞資訊，請關注羊城派 pai.ycwb.com )

來源 | 羊城晚報羊城派

責編 | 張齊 王雋杰

校對 | 馬曼婷