深度僞造騙局：當AI技術成爲詐騙工具｜3·15特別報道
你的上司給你發來視頻會議，會議中還有多名財務人員在場。會議中，上司表示要進行機密交易，要求你向某個銀行戶口轉賬。會議中的高管面容、聲音均與真人一致，你會心生疑慮嗎？
這是今年年初某跨國公司香港分行職員真實經歷的視頻騙局。據已披露的信息顯示，詐騙者通過公司的YouTube視頻和從其他公開渠道獲取的媒體資料，成功地仿造了英國公司高層管理人員的形象和聲音，再利用Deepfake（深度僞造）技術製作僞冒視頻，造成多人蔘與視頻會議的效果，然而會議內只有參加的職員一人爲“真人”。
东方财富：2023年度净利润约81.93亿元；多家基金公司上报科创板100指数增强基金
由於會議中詐騙者是以上司身份向被騙職員下達命令，職員也沒有機會與會議參與者進行交流。該職員僅僅被要求做一次簡短的自我介紹，隨後詐騙者便結束會議，在即時通訊軟件上繼續下達命令。
受騙職員前後轉賬15次，合計共2億港元到5個銀行戶口，其後向總部查詢才得知受騙。因涉案金額巨大，該案也成爲香港歷史上損失最慘重的“變臉”案例。
隨着生成式人工智能技術的發展，通過AI技術換臉換聲的方式來模擬出另一個人的真實外觀已不再困難。這一技術被稱作“深度僞造”，即藉助神經網絡技術進行大樣本學習，以機器學習模型將個人的聲音、面部表情及身體動作拼接合成虛假內容的人工智能技術。
界面新聞記者從某些技術開源社區上以“GAN”等關鍵詞檢索，可輕易得到深度合成相關的技術開源項目。目前在國內主流電商平臺已經對“AI換臉”關鍵詞進行了屏蔽，但是在部分社交平臺上，還是能通過關鍵詞檢索聯繫到相關工具的賣家。
技術的發展與普及進一步模糊了真實與虛擬的邊界，而這類無法分辨真僞的交界地帶則成爲了滋生犯罪行爲的溫牀。據長期關注AI安全的瑞萊智慧的不完全統計，AI詐騙案件數量在近年來快速增長，僅2023年一年在全國已發生至少16起。
底層技術已成熟
追本溯源來看，深度僞造相關的技術已十分成熟。
2014年，由蒙特利爾大學提出的生成對抗網絡（GAN）提高了數據生成的逼真程度，但也大大降低了深度合成的門檻。近年來，除GAN之外，擴散性模型（Diffusion Model）等技術路線也證明了其提升數據生成逼真程度的價值。
在論文預印本網站arXiv.org搜索“GAN”可得到10694篇相關論文；以“GAN”、“NeRf”、“TTS”等深度合成相關關鍵詞在開源社區GitHub進行檢索，可得到超12萬個開源項目。
開源的氛圍加速了技術的交流與突破，但客觀上也使得如AI換臉、擬聲等技術不再神秘。
界面新聞記者以“AI換臉”爲關鍵詞在某視頻平臺搜索，可以很輕易找到相關教程；同時，據在某社交平臺上找到的換臉工具賣家介紹，該工具只需少數照片即可完成視頻的一鍵換臉，而整套工具及教程只需20元。
日漸降低的使用門檻使得深度僞造技術成爲諸多違法犯罪行爲的工具。2023年4月，百萬網紅博主“Caro賴賴_”曾發文稱有不法分子利用換臉技術製作色情視頻，並明碼標價獲取利潤。在小紅書等社交平臺上，也有多位博主發文稱自己曾被“換臉”至陌生人照片上。
有業內人士告訴界面新聞，因爲深度僞造製作的材料是個人音頻、圖片、視頻，這些數據越多，訓練出的視頻就越逼真，所以社交媒體上相關數據較多的博主、明星容易成爲深度僞造的目標。
《民法典》1019條規定，未經肖像權人同意，他人不得製作、使用、公開肖像權人的肖像。在《民法典》1020條中則補充規定，爲個人學習、藝術欣賞、課堂教學或者科學研究；爲實施新聞報道；國家機關爲依法履行職責在必要範圍內製作、使用、公開肖像權人的肖像等情況屬於肖像合理實施。
天元律師事務所合夥人李昀鍇律師解釋稱，《民法典》中關於肖像權合理實施所給出的空間是很窄的，如在網絡上廣爲流傳的使用他人肖像的鬼畜作品，實際上被鬼畜者享有追責的權利，只是在大多數實踐中被鬼畜者並未追究。他進一步表示，換臉之後直播、發貼，都涉嫌侵犯肖像權，如果將生成內容用於色情暴力內容，則可能會涉及刑事犯罪。
8旬老翁誤食洗衣球「化學性肺炎」喪命！醫揭平時使用該養成一習慣
因此，李昀鍇律師建議，在發現侵權情形後，當事人可以通過如時間戳等第三方存證平臺把涉嫌侵權內容通過手機錄屏的方式進行保存，之後無論是向平臺投訴或者通過法院起訴都可以作爲有效證據使用；如果涉及刑事責任，則要儘快前往去屬地派出所報案，並保留侵權鏈接供公安調查。
如何辨別真僞？
在瑞萊智慧聯合創始人、算法科學家蕭子豪的觀察中，深度僞造的技術門檻在不斷下降。“主要原因是這些技術被逐漸開源出來，而且變得越來越好用。一些低門檻的開源軟件已經可以來做出質量比較好的視頻。”他說。
此前在網絡上也曾廣泛流傳的一些辨別真僞的技巧，如觀察對方的牙齒、舌頭、耳朵或者手指是否會隨着人物移動而出現不自然的陰影。在部分場景中，這些技巧確實存在可行性。佈局出海短劇的易點天下也在嘗試使用AI換臉技術。易點天下KreadoAI負責人羅曉奇也指出，在手部遮擋臉部的時候，AI產出的內容往往會有很大的瑕疵。
人妻做直销「摩铁＋车震」大战小王20回 尪见全身吻痕绿光透顶
但如果想要追求準確分辨真僞，這些細節僅能作爲參考。以此前梅西澄清視頻事件爲例，有質疑指出原視頻“面部反光不自然”、“未露出牙齒”等特徵。但有業內人士告訴界面新聞，AI可以做到生成清晰的牙齒，這些特徵不能作爲證據。
多年與深度僞造技術接觸的蕭子豪則直言，如果對方的技術方案相對精細，那麼單純用肉眼去分辨會有些挑戰性。
由於深度合成內容越發逼真，採用技術手段進行鑑別的解決方案也隨之出現。據業內人士介紹，常用的方法包括基於僞造內容數據集完成對模型檢測器的訓練、基於幀間不一致性實現對僞造內容的判別等。
據蕭子豪介紹，從技術角度，其辨別思路大致可分爲兩種，一種是尋找圖像編輯痕跡，另一類則是判斷行爲是否符合常識。
“一般來說這類換臉都會對原先的人臉進行編輯，做動畫的過程中會有類似圖片編輯的操作並且留下痕跡，這類痕跡和真正拍攝時的痕跡時不一樣的，”蕭子豪解釋說。另一類則是檢測視頻中是否會展現出不符合常識的行爲，如長時間不眨眼等等。
但由於新型僞造方法層出不窮，反深僞檢測技術也需要持續更新與迭代優化。
技術監管尤爲重要
正如一枚硬幣的兩面，AI換臉技術一方面可能觸及隱私和倫理的敏感邊界，另一方面卻也爲視頻製作、心理療愈等領域帶來了新的可能性。
在爆火的短劇領域，使用AI換臉技術可以快速將國內短劇中的華人面孔轉變成外國演員的模樣。佈局出海短劇的易點天下已經開始嘗試使用AI換臉技術。易點天下社媒營銷經理李佩玉在採訪時表示，如果對質量沒有過高要求，那使用AI進行簡單替換在時間和資金上至少可以降低20%的成本。
同時，業內也出現了“AI療愈”的嘗試，即利用AI換臉技術將客戶逝去親人的外貌附加在專業心理諮詢師臉上，隨後與客戶進行視頻聊天，以此提升心理療愈的效果。
为了平衡投资购买的混合型产品却98%投入股票，合理吗？
如何界定應用技術的邊界是多方關注的焦點，其中服務提供方所扮演的角色尤爲重要。
業務涉及“AI療愈”的超級頭腦創始人張澤偉告訴界面新聞，團隊會事前明確委託人的訴求、與“克隆人”的關係，接單前也會與客戶簽署合同避免產品被用於任何違法違規的途徑。
這一做法與目前主流的AIGC產品不謀而合。小冰公司曾於去年5月於海外發布“GPT克隆人計劃”，稱最短只要採集三分鐘數據，即可創造源於本人性格、技能、聲音、外貌的AI克隆人。
據小冰CEO李笛所說，在使用“GPT克隆人計劃”服務前，使用者需提供本人權屬證明，如是企業用戶申請則需提供營業執照。同時他強調，該服務並未開放任何API接口，僅可在該平臺內使用，不會存在轉接至社交平臺上的情況，公司內部也會配置技術手段以防範自身服務被用作他處。
伴隨ChatGPT在國內迅速掀起生成式人工智能浪潮，國內針對AIGC產品的相關監管也快速跟進。
《生成式人工智能服務管理暫行辦法》中規定生成式人工智能服務提供者涉及個人信息的，應當取得個人同意或者符合法律、行政法規規定的其他情形；發現使用者利用生成式人工智能服務從事違法活動的，應當依法依約採取警示、限制功能、暫停或者終止向其提供服務等處置措施，保存有關記錄，並向有關主管部門報告。
李昀鍇律師也指出，當前通過互聯網提供AI服務的應當屬於電子商務範疇，需要按照《電子商務法》、《網絡安全法》履行相應的監管義務。“至少平臺要做到使用主體真實性的核驗，也要做到法律責任的提示；如果發現侵權內容平臺應該及時採取刪除、下架、屏蔽等相應措施；如果是涉及到刑事犯罪，平臺要主動去進行證據保存，並主動向屬地公安機關報案。”
