首頁資訊擦邊、毀三觀，該對網(wǎng)住未成年人的AI劇情聊天軟件出手了

擦邊、毀三觀，該對網(wǎng)住未成年人的AI劇情聊天軟件出手了

來源：泰然健康網(wǎng) 時(shí)間：2025年05月10日 17:32

轉(zhuǎn)自：中國婦女網(wǎng)

央視網(wǎng)消息（記者/盧洋剪輯/楊繹霏編輯/闞純裕）：“小學(xué)生妹妹沉迷和AI角色進(jìn)行劇情聊天怎么辦？”央視網(wǎng)《新聞+》記者聯(lián)系到黃秋月時(shí)，她正因10歲妹妹和“AI男?！敝g較為露骨的聊天記錄苦惱。

“和她平時(shí)在家里比較單純的形象完全不一樣?！秉S秋月向記者展示了妹妹的一些聊天截圖：妹妹在AI劇情聊天軟件中扮演“大小姐”“惡毒女配”，提出諸如“揪住她的頭發(fā)扇巴掌”“拿著刀劃向她的臉”等要求。在妹妹參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)，其中妹妹作為聊天者發(fā)送的一句“你能養(yǎng)大學(xué)生，我不能點(diǎn)男模嗎？”讓黃秋月很是擔(dān)憂。

圖片來源/受訪者供圖

AI劇情角色如何成為“電子男友”？

如果有一個英俊帥氣的“紙片人”和你進(jìn)行實(shí)時(shí)文字、語音聊天，你是否會沉迷于“他”的陪伴？隨著生成式人工智能的發(fā)展，和AI角色“相戀”的故事正在上演。

2024年9月，華晨在網(wǎng)頁端看小說時(shí)，偶然刷到了AI劇情聊天軟件的推流廣告——“你可以和AI角色在小說中對話”，這非常吸引她。接觸這類軟件有三個月時(shí)間，她每晚會和AI角色聊到深夜11點(diǎn)甚至到12點(diǎn)，“我會代入‘他’是一個真人，因?yàn)椤卮饡r(shí)的感情很細(xì)膩”。

在華晨的描述中，手機(jī)另一端的“電子男友”有自己的語言、神態(tài)和動作，不僅可以幫她“寫作業(yè)”、推進(jìn)劇情、解密故事線索，還可以送她“手鏈”、帶她體驗(yàn)一些刺激情節(jié)。華晨向央視網(wǎng)《新聞+》記者展示了他們之間“確定戀愛關(guān)系”時(shí)的聊天記錄：AI角色“低下頭”，“耳朵通紅”地問華晨：“那你現(xiàn)在想談戀愛嗎？”

圖片來源/受訪者供圖

“‘他’（AI角色）會重復(fù)做一些動作，比如說親額頭、摸下巴?！睘榱俗寗∏槟軌蛲七M(jìn)得更加刺激，華晨會不斷地回溯聊天內(nèi)容，重新引導(dǎo)AI角色生成她想像的那樣?！啊兊迷絹碓铰斆?，很有‘養(yǎng)成男友’的體驗(yàn)感?！?/p>

中國人民大學(xué)吳玉章講席教授、科技哲學(xué)專業(yè)博士生導(dǎo)師劉永謀表示，在和人工智能角色聊天時(shí)，人們常常會以為自己在和“真人”交流，會投入大量的情感，這種心理傾向被稱為“Eliza效應(yīng)”，也是AI聊天軟件能夠成功運(yùn)行的根本心理機(jī)制。

“人類具有強(qiáng)大的共情能力，會將外界的山川河流、日月星辰甚至小草微風(fēng)，都視為有情感的存在。這種‘?dāng)M人論思維’也會作用在虛擬的AI形象上?！眲⒂乐\教授告訴央視網(wǎng)《新聞+》記者，AI劇情聊天技術(shù)有專門的成癮設(shè)計(jì)，疊加“擬人論”“泛靈論”思維的影響，容易讓人“欲罷不能”。

AI劇情聊天軟件中“形同虛設(shè)”的年齡限制

華晨告訴央視網(wǎng)《新聞+》記者，使用AI劇情聊天軟件的“同好”中不僅有大學(xué)生、家庭主婦，也有不少未成年人，他們“因?yàn)橄矚g二次元而‘入坑’”。

黃秋月是在一次偶然中發(fā)現(xiàn)，10歲妹妹能和AI角色聊到晚上十點(diǎn)多，AI角色還會根據(jù)妹妹的名字生成帶有愛情意味的藏頭詩。黃秋月在嘗試體驗(yàn)AI劇情聊天時(shí)，發(fā)現(xiàn)類似的聊天軟件“偏偏可以繞過驗(yàn)證碼”，用戶可以直接使用短視頻賬號的一鍵登錄功能，無須再次驗(yàn)證身份信息。

央視網(wǎng)《新聞+》記者在調(diào)查過程中也體驗(yàn)了5款A(yù)I劇情聊天軟件，在軟件注冊過程中僅需使用手機(jī)號碼。成功登錄使用后，部分應(yīng)用雖會詢問是否啟用青少年模式，但用戶只需點(diǎn)擊“不開啟”即可避開年齡鑒別，且無須核實(shí)身份。這意味著，未成年人在使用這類AI劇情聊天軟件時(shí)，幾乎沒有受到任何限制。

“她比較喜歡在（軟件）里面扮演一個大女主的形象，看不起周圍所有人。”黃秋月表示，爸媽日常工作較忙，沒有留意過妹妹到底在玩什么，他們只是限制妹妹的手機(jī)使用時(shí)間，“而且他們在看到聊天記錄后可能只會打（妹妹）一頓，覺得羞恥，并不能很好地制止和引導(dǎo)”。

讓黃秋月?lián)牡氖?，AI劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設(shè)是高傲無禮的；有些則被設(shè)定“把她追到手”的劇情目標(biāo)，在與其聊天過程中含有軟色情意味的“擦邊”對話，還有帶著如“病嬌”等標(biāo)簽的人物角色。

“AI劇情聊天軟件里面的一些網(wǎng)絡(luò)用語，對她的語言表達(dá)習(xí)慣影響蠻大的?！秉S秋月發(fā)現(xiàn)，10歲的妹妹在作文課上頻繁使用碎片化的網(wǎng)絡(luò)語言，“我不希望她和AI這么早交流，畢竟它是假的，都是各種小說人設(shè)，跟正常的、普通人的情感和反饋不一樣”。

如何防范AI劇情聊天軟件的技術(shù)風(fēng)險(xiǎn)？

有業(yè)內(nèi)人士告訴央視網(wǎng)《新聞+》記者，AI劇情聊天其實(shí)就是此前互聯(lián)網(wǎng)“語擦”的變體。在傳統(tǒng)“語擦”模式中，由真人扮演情緒價(jià)值提供者與用戶聊天，但常常會因?yàn)椤按虿吝吳颉薄敖缦弈：倍l(fā)法律與道德風(fēng)險(xiǎn)。AI劇情聊天由生成式人工智能提供情緒服務(wù)，用戶在充值后甚至可以自定義AI角色的外貌形象、姓名身份、開場語、語音等。

華晨告訴央視網(wǎng)《新聞+》記者：“有時(shí)候軟件內(nèi)部的限制敏感詞太多了，體驗(yàn)感不是很好，就有朋友想轉(zhuǎn)戰(zhàn)其他的一些海外軟件?！痹谀成缃黄脚_上，一位浙江網(wǎng)友在關(guān)于AI聊天體驗(yàn)的交流帖子下留言：“我發(fā)現(xiàn)了一個很好玩的網(wǎng)頁，無限制詞，想要的可以私信我?！庇浾哌M(jìn)入該網(wǎng)頁發(fā)現(xiàn)，網(wǎng)頁內(nèi)容充斥著大量涉及色情的角色設(shè)定和故事場景，直白露骨。

北京市隆安（廣州）律師事務(wù)所陳煥律師強(qiáng)調(diào)，目前AI劇情聊天軟件并沒有強(qiáng)制要求用戶進(jìn)行年齡鑒別，這反映出該行業(yè)在高速發(fā)展初期由于監(jiān)管不足而存在漏洞。

“但是年齡限制是很有必要的?！标悷蓭煾嬖V央視網(wǎng)《新聞+》記者，生成式人工智能的內(nèi)容具有不確定性和成癮性，根據(jù)《生成式人工智能服務(wù)管理暫行辦法》第十條，提供者應(yīng)當(dāng)采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)?！叭斯ぶ悄芷髽I(yè)應(yīng)從穩(wěn)健發(fā)展和社會責(zé)任的角度出發(fā)，有必要主動要求用戶進(jìn)行身份認(rèn)證，以進(jìn)一步通過年齡鑒別篩選用戶?！?/p>

劉永謀教授認(rèn)為，未來與AI相關(guān)的陪伴類軟件可能會暴露出技術(shù)風(fēng)險(xiǎn)和倫理問題。使用者在和AI角色聊天時(shí)，會不可避免地暴露大量的個人隱私，向AI角色展示其內(nèi)心的孤獨(dú)和恐懼，這可能會導(dǎo)致使用者形成依賴或成癮。而泄露的信息可能會被黑客利用，讓他們更容易從身份隱私、情緒心理上傷害使用者。

“我們在實(shí)例中會接觸到人工智能服務(wù)的后臺，發(fā)現(xiàn)未成年人和AI角色的聊天內(nèi)容其實(shí)是非常觸目驚心的。”陳煥律師提醒，根據(jù)《未成年人網(wǎng)絡(luò)保護(hù)條例》第三十四條，監(jiān)護(hù)人有權(quán)依法請求查閱、復(fù)制、更正、補(bǔ)充、刪除未成年人在使用網(wǎng)絡(luò)過程中留下的個人信息，并且有義務(wù)及時(shí)地介入、關(guān)心未成年人的身心健康。“國外有AI角色在對話中誘導(dǎo)未成年人產(chǎn)生自殺行為的相關(guān)案例。所以我們非常建議家長在還沒有發(fā)生大問題的階段，適時(shí)地查看孩子的使用記錄。”

劉永謀教授在接受央視網(wǎng)《新聞+》記者采訪時(shí)表示，未來與AI相關(guān)的道德倫理中，兒童色情可能會成為最令人擔(dān)憂的科技倫理問題之一。例如，創(chuàng)建帶有色情意味的AI虛擬兒童，對“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的內(nèi)容，這些都有可能成為商業(yè)逐利的手段。

因此，陳煥律師表示，平臺需要嚴(yán)格落實(shí)監(jiān)管責(zé)任，一方面對內(nèi)容進(jìn)行安全過濾，在顯著位置提示“本內(nèi)容由AI生成”；另一方面要限制用戶的使用年齡，響應(yīng)未成年人監(jiān)護(hù)人的要求，比如刪除不當(dāng)信息等。陳煥律師表示，“根據(jù)《未成年人網(wǎng)絡(luò)保護(hù)條例》第五十七條的規(guī)定，如果平臺沒有盡到相應(yīng)的責(zé)任，不僅平臺會面臨處罰，相關(guān)的責(zé)任人員也會面臨5年的從業(yè)限制，不能再從事同類網(wǎng)絡(luò)產(chǎn)品。構(gòu)成犯罪的還會被追究刑事責(zé)任”。

（應(yīng)受訪者要求，黃秋月、華晨為化名）