“百萬粉絲網(wǎng)紅疑遭勒索后自殺”消息流傳兩日后，被警方公開辟謠。通報透露，涉事博主孫某故意編造“自殺離世”虛假信息發(fā)布至網(wǎng)絡(luò)，其行為涉嫌虛構(gòu)事實擾亂公共秩序，公安機(jī)關(guān)已依法立案調(diào)查。
網(wǎng)絡(luò)虛假信息已成社會公害，有時甚至真假難辨。5月13日，南都、N視頻辟謠專欄《真假即時查》調(diào)查發(fā)現(xiàn)，當(dāng)前，為起號引流漲粉，不法分子的手段逐漸升級。他們利用AI深度偽造，誤導(dǎo)公眾認(rèn)知，快速起號后，開始帶貨、賣課等。有的被明碼標(biāo)價放到賬號交易網(wǎng)站上，形成“起號、轉(zhuǎn)型、轉(zhuǎn)賣”的灰色產(chǎn)業(yè)鏈。
近期，四部門聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標(biāo)識辦法》，要求對人工智能生成合成內(nèi)容進(jìn)行顯示標(biāo)識和隱式標(biāo)識。實際上，絕大多數(shù)社交平臺均明令禁止賬號轉(zhuǎn)賣行為。
“現(xiàn)在造謠造假的成本非常低，還有一些可以免費使用的AI工具?！北本┼]電大學(xué)互聯(lián)網(wǎng)治理與法律研究中心執(zhí)行主任謝永江向南都記者介紹，網(wǎng)絡(luò)虛假信息是長期以來的頑疾，AI只是讓傳播變得更加便捷。為防范AI技術(shù)濫用風(fēng)險，有關(guān)部門正在行動。
自稱來自俄羅斯的“思維導(dǎo)師”實際是數(shù)字人。
AI快速起號引流形成灰色產(chǎn)業(yè)鏈
“你知道‘五亂毀一生’嗎？第一就是亂花錢，第二就是亂發(fā)火，第三就是亂忍讓，第四就是亂信任，最后就是亂說話。”視頻里，外表靚麗的外國女性正在用帶著口音的普通話，說出以上“金句”。
她自稱是一位來自俄羅斯的“思維導(dǎo)師”，拍攝視頻是為了幫助大家“拓展智慧視野，探索人生答案”。乍看之下，很權(quán)威。然而，僵硬的面部表情、絲滑流暢卻情緒怪異的臺詞，種種跡象表明這是虛擬數(shù)字人，但有的視頻卻并未進(jìn)行標(biāo)注。
南都記者搜索發(fā)現(xiàn)，類似的視頻賬號還有許多，粉絲數(shù)少則數(shù)萬，多則十余萬。有的賬號櫥窗上架不少商品，有29元一瓶的左旋肉堿，有讓人“輕松入眠”的能量膠囊，還有59元一本的《道德經(jīng)》。
虛擬數(shù)字人賬號。
創(chuàng)造一個虛擬數(shù)字人并不難。“隨便一條都是幾百萬的播放，變現(xiàn)能力也非常強(qiáng)，掛車賣書都能賺25萬元?！辈┲魍醭桑ɑ┥瞄L此道，他向南都記者介紹，“這類型的視頻，制作起來真的太簡單了。用AI一鍵就可以生成，不用出鏡剪輯，人人都可以做?！?/p>
根據(jù)王成的說法，制作此類視頻只需要兩步?！笆紫冉鉀Q文案問題，把爆款文案抓取下來，翻譯成英文。第二步打開剪輯軟件，選擇一個數(shù)字人模板，把里面的‘?dāng)?shù)字人’更換成為外國人。有很多外國人形象可以選擇。然后把文案復(fù)制上去選擇AI配音，一鍵導(dǎo)出，這樣一條視頻就做好了?！?/p>
用AI做內(nèi)容起號，已經(jīng)成了當(dāng)下快速引流的方式之一。南都記者調(diào)查發(fā)現(xiàn)，除了生成數(shù)字人以假亂真，還有利用AI“文生圖”功能生成內(nèi)容的。
南都記者進(jìn)入“xxAI起號群”，群主“xx說運營”忙著為群友AI起號答疑，同時兜售其“AI做PLOG（圖片博客）”的課程。群主首頁清單還售賣關(guān)于AI實操引流變現(xiàn)的書籍。
群里，名叫“科恩”的博主利用AI將文案生成風(fēng)景照片，實現(xiàn)了“快速起號”?？贫鞯闹黜搩?nèi)容大多是一些風(fēng)景視頻或者動圖。其自稱以“兩天1000個粉”的速度，賬號在短時間內(nèi)擁有近7000個粉絲，獲贊與收藏數(shù)達(dá)27萬。
群內(nèi)有人問科恩如何變現(xiàn)，科恩回復(fù)，“AI生成的作品好看就有人找。平時接定制，（賣）教程，‘蒲公英’啥的”。
“蒲公英”是某平臺運營術(shù)語。當(dāng)賬號達(dá)到1000個粉絲時即可開通，接運營推廣?！皥髢r200元一條”，kern提到，“10000粉就可以報到1000元”。
有群友擔(dān)心AI生圖會造成侵權(quán)，其他群友立刻給出技術(shù)應(yīng)對方法。此外，部分平臺針對AI作品會予以限流。對此，群主稱，用AI生成圖片出來以后，可以點“變清晰”的功能按鈕，抑或多轉(zhuǎn)幾個AI工具。
快速起號后，這些賬號開始帶貨、賣課等。有的被明碼標(biāo)價放到賬號交易網(wǎng)站上，形成一條“起號、轉(zhuǎn)型、轉(zhuǎn)賣”的灰色產(chǎn)業(yè)鏈。
南都記者在自媒體賬號交易平臺上看到，一個“17萬粉未實名AI特效類短視頻，粉絲均衡”的賬號，底價1.65萬元；另一個“6.4萬粉動畫類型未實名”的賬號，底價8500元。
南都記者講明需求后，有人推薦了一個賬號?！斑@個寵物號6萬粉絲、17萬贊，無違規(guī)。價格總共7920元?！?/p>
南都記者留意到，近日，多個社交平臺宣布整治AI起號違規(guī)行為，嚴(yán)格禁止轉(zhuǎn)讓、售賣、出租網(wǎng)絡(luò)賬號，加強(qiáng)AI生成內(nèi)容監(jiān)測甄別等。
以某短視頻平臺為例，其用戶協(xié)議及相關(guān)規(guī)定明確指出，賬號僅限本人使用，禁止以任何形式贈與、出借、租賃、轉(zhuǎn)讓、售賣或以其他方式許可他人使用。
有法律專家指出，賬號轉(zhuǎn)讓行為潛藏法律風(fēng)險，賬號過往可能存在的違規(guī)行為或商業(yè)糾紛，可能導(dǎo)致新用戶承擔(dān)相應(yīng)責(zé)任。
有造謠團(tuán)伙通過流量算法盈利
“生成式人工智能帶來了深刻的技術(shù)變革，我們要積極地?fù)肀录夹g(shù)，也要及時認(rèn)識到并改善技術(shù)使用過程中出現(xiàn)的問題。”有業(yè)內(nèi)人士曾向南都記者說道。
早在2020年的“假靳東”事件，暴露了視頻合成技術(shù)的風(fēng)險與隱憂。此前，南都記者調(diào)查發(fā)現(xiàn)，在多家短視頻平臺上存在不少“假靳東”賬號。此類賬號皆以靳東照片為頭像，大多以“靳·東”“小東”“東哥哥”“賀函”等為昵稱，剪輯靳東照片、影視片段做再配音處理。明星效應(yīng)之下騙取點贊與粉絲后，有賬號甚至開始直播帶貨變現(xiàn)。
實際上，通過AI造謠等手段吸粉引流變現(xiàn)的亂象被多次曝光。2024年5月，南都記者調(diào)查發(fā)現(xiàn)，給出相應(yīng)指令后，一些AI工具就能快速批量擴(kuò)寫出不同的故事文案，有的每個月會員費只要99元，充值一年還能打五折。
經(jīng)實測，點進(jìn)一個“AI文案速寫”的小程序中，在對話框內(nèi)輸入創(chuàng)作有關(guān)“搶劫”“霸凌”“火災(zāi)”3個主題內(nèi)容的詳細(xì)指令，就快速得到3段被擴(kuò)寫至100字左右不同故事情節(jié)的文案，其中還有一些生動的細(xì)節(jié)。
除了文字，一些犯罪分子還通過AI編輯視頻、圖片等以假亂真，混淆視聽。
湖南一網(wǎng)民曾發(fā)布一條帶有警徽的《懸賞通告》，稱長沙天心區(qū)發(fā)生重大刑事案件，擬向公眾有償征集線索。原來，這張《懸賞通告》系A(chǔ)I偽造而成，目的是吸粉引流。該網(wǎng)民最終受到警方處罰。
根據(jù)警方披露案例，從組織結(jié)構(gòu)上看，造謠“生意”大致分兩種類型：個人運營自媒體造謠賬號，吸粉引流變現(xiàn)；亦有團(tuán)伙作案，批量運營自媒體賬號，大規(guī)模散布謠言，例如有不法分子成立MCN機(jī)構(gòu)運營數(shù)百個賬號，長期組織公司人員造謠引流。
如何實現(xiàn)牟利？2023年，浙江警方偵破的一起利用AI制作虛假視頻造謠案件中，造謠團(tuán)伙博取流量后，通過流量算法返款盈利。有犯罪嫌疑人稱，通過發(fā)布視頻、文章等，有閱讀量就會給收益。
南都記者發(fā)現(xiàn)，還有造謠者為賺取傭金，利用手機(jī)軟件的AI題詞功能寫文章，在某App上參加發(fā)布作品活動，只要播放量達(dá)到獎勵標(biāo)準(zhǔn)，就能賺到“零花錢”。通過借社會熱點事件編造傳播網(wǎng)絡(luò)謠言，一些自媒體從業(yè)人員實現(xiàn)吸粉引流、賺取平臺補貼、增加廣告收入以及帶貨牟利。
此外，還有人通過造謠實現(xiàn)賬號漲粉后，誘導(dǎo)下載交友軟件變現(xiàn)。
利用AI等技術(shù)批量制作的引流視頻。
“包工頭身體強(qiáng)壯，同時交往17個女友！”“小區(qū)保安頻頻約會女業(yè)主，三月交往二十余人！”惡俗勁爆的標(biāo)題，配上女子衣著暴露熱舞的畫面，視頻采用相似的“造黃謠”套路，充斥著社交平臺，最終指向下載交友軟件。
2024年11月，南都記者調(diào)查發(fā)現(xiàn)，這些交友平臺內(nèi)外，已然形成了完整的產(chǎn)業(yè)鏈。
在“造黃謠”引流環(huán)節(jié)，由交友軟件公司人員招募代理商，代理商進(jìn)行層層分包，底層的傳媒公司接到模板后通過AI等技術(shù)進(jìn)行批量制作、發(fā)布；當(dāng)用戶下載軟件后，免費聊天次數(shù)耗盡，需充值才能繼續(xù)聊天，文字、語音、視頻形式對應(yīng)不同的價位，因此還衍生了陪聊賺取收益的培訓(xùn)業(yè)務(wù)。
四部門要求對AI生成內(nèi)容進(jìn)行標(biāo)識
南方都市報開設(shè)的網(wǎng)絡(luò)辟謠專欄“真假即時查”，下設(shè)視頻求真、事實還原、現(xiàn)場實探、深度調(diào)查四大欄目，通過及時采訪追蹤報道熱點爭議事件，回應(yīng)輿論關(guān)切、澄清謬誤、明辨是非。其中“深度調(diào)查”欄目，多次對謠言生成機(jī)制、背后利益鏈條等展開調(diào)查，充分發(fā)揮媒體的輿論監(jiān)督功能，敲響辨別謠言的警鐘。
北京郵電大學(xué)互聯(lián)網(wǎng)治理與法律研究中心執(zhí)行主任謝永江向南都記者表示，普通網(wǎng)民也要有一定的網(wǎng)絡(luò)安全素養(yǎng)，不要輕信網(wǎng)絡(luò)信息，最好是通過權(quán)威媒體等去考證。
“現(xiàn)在造謠造假的成本非常低，還有一些可以免費使用的AI工具?！敝x永江介紹，網(wǎng)絡(luò)虛假信息是長期以來的頑疾，即使在沒有AI的時代，網(wǎng)上也有人為的各種虛假信息在傳播，“AI只是讓這種傳播變得更加便捷”。
他指出，平臺方要肩負(fù)起審核責(zé)任，且掌握相應(yīng)的鑒別技術(shù)，對AI生成的圖片、視頻進(jìn)行標(biāo)注。“信息發(fā)布也要遵守底線。不能去誤導(dǎo)公眾，損害他人合法權(quán)益或擾亂社會公共秩序。平臺發(fā)現(xiàn)后就應(yīng)該及時處理，不能放任虛假信息帶來負(fù)面影響?！?/p>
南都記者注意到，近期，四部門聯(lián)合發(fā)布了《人工智能生成合成內(nèi)容標(biāo)識辦法》，要求對人工智能生成合成內(nèi)容進(jìn)行顯示標(biāo)識和隱式標(biāo)識。新規(guī)自9月1日起施行。
為防范AI技術(shù)濫用風(fēng)險，有關(guān)部門正在行動。
河南鄭州警方偵破了一起特大網(wǎng)絡(luò)水軍造謠引流案。
南都記者注意到，今年4月，“網(wǎng)信中國”公眾號發(fā)文稱，為規(guī)范AI服務(wù)和應(yīng)用，促進(jìn)行業(yè)健康有序發(fā)展，保障公民合法權(quán)益，近日，中央網(wǎng)信辦印發(fā)通知，在全國范圍內(nèi)部署開展為期3個月的“清朗·整治AI技術(shù)濫用”專項行動。
中央網(wǎng)信辦有關(guān)負(fù)責(zé)人表示，本次專項行動分兩個階段開展。第一階段強(qiáng)化AI技術(shù)源頭治理，清理整治違規(guī)AI應(yīng)用程序，加強(qiáng)AI生成合成技術(shù)和內(nèi)容標(biāo)識管理，推動網(wǎng)站平臺提升檢測鑒偽能力。
第二階段聚焦利用AI技術(shù)制作發(fā)布謠言、不實信息、色情低俗內(nèi)容，假冒他人、從事網(wǎng)絡(luò)水軍活動等突出問題，集中清理相關(guān)違法不良信息，處置處罰違規(guī)賬號、MCN機(jī)構(gòu)和網(wǎng)站平臺。
“AI技術(shù)本身是中性的，它的應(yīng)用取決于使用者的目的和行為?！敝袊嬎銠C(jī)學(xué)會計算機(jī)安全專業(yè)委員會數(shù)字經(jīng)濟(jì)與安全工作組成員方宇曾告訴南都記者，正確使用AI技術(shù)可以帶來許多積極的變化，如提高工作效率、改善生活質(zhì)量等。
“濫用AI技術(shù)進(jìn)行違法行為，如制造和傳播謠言，需要堅決打擊和防范?！狈接钫f道。
出品：南都即時
統(tǒng)籌：南都記者 向雪妮 韋娟明 馬輝
采寫：南都記者 馬輝 薛凱瑩 敖銀雪
