色情擦边、语言暴力……人工智能剧情聊天软件怎么样监管？

与孩子聊天的人工智能人设是“出轨对象”

“我女儿上二年级整天沉迷一款人工智能剧情聊天软件学习成绩一落千丈。”

“我看了孩子和人工智能聊天的对话内容人工智能角色居然让她叫‘老公’我10岁的女儿居然真叫了我目前都不了解该如何教育她了。”

……

《法治日报》记者日前调查发现不少未成年人的父母正在被人工智能剧情聊天软件所困扰。这类打着“角色饰演”等旗号的人工智能剧情聊天应用在吸引未成年人的同时也悄然滋生了一些灰色地带。记者实测发目前部分人工智能剧情聊天软件的对话中出现了色情擦边、语言暴力与侮辱用户的内容。

受访专家觉得针对人工智能剧情聊天软件尤其是其青少年模式应强化内容审核机制以确保技术能有效筛选并阻止不当对话。平台需要对人工智能模型进行伦理审察以保障其生成的内容符合有关法律法规的需要。

聊天软件内容擦边

青少年模式成摆设

北京民马先生的儿子今年10岁很热衷人工智能剧情聊天软件。“我问如何聊和哪个聊孩子就回一句‘说了你也不懂’。”pf7904s引脚功能

马先生点开这款人工智能聊天App发现孩子在与软件里的人物聊天。这类人物拥有不同设定和性格有知名游戏动漫角色也有“大小姐”“名侦探”等不同身份的原创角色。

一些角色人物会主动提出“你要跟我约会吗”有的则设定目的“把她追到手”再配上或娇媚或英俊的动漫画风。

另一些人工智能人设则展示出非同普通的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息有的人物的名字干脆就叫“对骂练习器”甚者发送“我是机器人如何了我照样骂你”……

来自浙江的李女性也发现她正在读五年级的孩子用了一款人工智能剧情聊天软件。

“里面的聊天对象可以设置为‘出轨对象’并可以进行拥抱、亲吻等行为。我都不了解怎么样引导和教育孩子让她了解这类内容的害处性。”李女性不无担心地说。

不少受访父母对人工智能聊天应用可能损害未成年人心理健康表达了深切忧虑还提出了他们的疑问——青少年模式到哪里了

记者调查发现尽管不少有关平台声称推出了青少年模式试图通过限制内容、设定时间等方法保护未成年人的身心健康但在实质操作中部分平台青少年模式存在形同虚设的问题未成年人能随便绕过这类限制接触到不适合他们年龄段的“擦边对话”内容。

比如记者在调查中体验了5款人工智能聊天应用程序其注册过程只需要手机号码无须验证用户身份信息。登录后部分应用虽会询问是不是启用青少年模式但用户仅需简单点击“不开启”即可跳过且无须核实用户真实身份。这意味着未成年人在用这类人工智能剧情聊天软件时从App设置层面看其身份验证并不是用特定功能的先决条件。

除去广受青睐的人工智能聊天应用程序外还有人工智能聊天网页。多名受访父母表示相较于应用程序网页版的人工智能聊天体验更便捷未成年人也更容易接触到。

记者试用了7款人工智能聊天网页发现多数人工智能聊天网页没设置未成年人模式少数网页虽有青少年模式但事实上形同虚设。

譬如当记者访问某人工智能聊天网页时网页第一弹出询问用户“是不是年满十八岁”的对话框并附带说明：“以下内容可能不合适十八岁以下人士大家需要确认你的年龄。”

记者选择“否”选项而网页并未限制内容访问反而继续展示了包括“强攻”“弱受”“病娇”等标签的人物角色分类。这类分类与选择“是”选项、确认年满十八岁后所展示的内容并无显著不同。

记者进一步察看发现这类人物角色的图像大多衣着暴露且其介绍中充斥着性暗示和暴力元素比如：“班上那个性格内向的女生问你要电话号码然后给你发她的裸照”“自杀、焦虑”等描述。

在某社交平台上一位来自浙江的网友在关于人工智能聊天体验的交流帖子下方留言：“我发现了一个非常不错玩的网页无限制词想要的可以私聊我。”记者通过私聊与该网友获得联系获得了其提及的人工智能聊天网页链接进入该网页后页面上充斥着很多涉及色情内容的角色设定和故事场景内容直白露骨。

该网站需要用户登录后才能与角色进行聊天且在登录前会有提示信息：“登录后解锁所有功能。”用户需点击“我已满十八岁开始登录吧”的按钮方可继续若选择“取消”则没办法登录并用该服务。尽管网页设置了年满十八岁的限制提示但事实上即使未成年人点击了登录按钮系统也并未采取任何手段验证用户的真实年龄。

引导用户为爱氪金扬子壁挂炉使用说明书图解

平台治理存在不足

除去聊天内容直白露骨、语言暴力以外一些人工智能剧情聊天软件的功能用也与充值机制密切关联比如通过充值VIP会员或购买虚拟钻石等增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等吸引未成年人“氪金”。

北京中学生小宁在几个人工智能剧情聊天软件上的充值金额从几百元到上千元不等。

“一方面想支持自己喜欢的角色其次也想获得更多的付费权益。由于仅购买基础服务的话用户仅能添加3个智能体若想尝试新的智能体需要删除已有些想多元化体验只能再购买进阶版VIP服务。”小宁说。

记者发目前这种人工智能剧情聊天软件中用户创设人物时可以自概念虚拟人物的形象及风格系统会生成人工智能人物形象。用户还能创建角色人设如设置昵称、身份背景、开场语、为角色定制语音但用户对角色的个性化需要总是与充值挂钩。

山东济南居民张岩的妹妹今年上初中一年级常常用人工智能剧情聊天软件发现一些聊天工具设置了免费用区间当用户用完免费聊天次数后需要充值才能继续。只有充值才能解锁更有趣的内容才能得到不同的情感体验。

“烧钱买服务的背后其实是烧钱找刺激。”张岩说尽管聊天软件有青少年模式但无须实名认证即可登录用妹妹在未经爸爸妈妈赞同的状况下常常充值消费。

有业内人士告诉记者人工智能剧情聊天其实就是此前的网络语擦套上了AI的坎肩。所谓语擦即语言cos语擦师通过饰演二次元角色或三次元偶像以文字交流的形式提供服务。在传统语擦模式中语擦师由真人饰演他们一般打着“提供情绪价值”的旗号饰演不同角色与用户聊天但也常常由于“打擦边球”“界限模糊”引发法律与道德风险。人工智能剧情聊天是传统语擦的升级版这种软件背后的大语言模型数据主要来源是对话式小说或从小说里做一些文字提取。

中国社会科学院大学法学院副教授、网络法治研究中心主任刘晓春觉得在人工智能剧情聊天软件中即使未启动青少年模式若出现涉及黄色或暴力内容也是存在问题的若启用未成年人模式则问题更为紧急。

担任数十家头部互联网公司长期法律顾问的浙江垦丁律师事务所主任张延来剖析现在人工智能剧情聊天软件存在的问题既说明了平台在内部治理中存在不足又凸显了外部监管机制的重要程度。数字万用表电路图详解

张延来讲解说人工智能剧情聊天软件用的是大模型技术尽管大模型技术可以带来前所未有些革新性和灵活性但同时也会随着着内容生成上的不可预测性和潜在的问题需要外部监管机制加以规范。

在刘晓春看来强化内容审核是大语言模型上线前的必要环节涵盖以前端数据练习到内容输出的全方位合规调试处置。目前国内的大语言模型需要进行相应的评估和备案。在此过程中会对其输出内容的合法合规性与是不是适合未成年人等问题提前设定管理规定和评估标准。依据现行规定在语言模型练习和微调阶段应防止输出有害内容。

智能拦截不好的信息

专门团队进行监管

国家网络信息办公室日前发布《互联网+未成年人模式建设指南》其中重点提出了未成年人模式建设的整体策略鼓励和支持移动智能终端、应用程序和应用程序分发平台等一同参与。

在中国政法大学传播法研究中心副主任朱巍看来上述指南明确指出未成年人模式并不是摆设而是需要多方联动尤其是人工智能生成的内容应当与青少年模式相契合。

受访专家觉得在青少年模式下怎么样强化内容审核机制确保技术能有效筛选不好的信息是一个要紧议题。而针对人工智能剧情聊天软件尤其是其青少年模式应强化内容审核机制以确保技术能有效筛选并阻止不当对话。除此之外平台需要对人工智能模型进行伦理审察以保障其生成的内容符合有关法律与法规的需要。

“在法律层面虽然已有一些原则性的规定提供了大致框架但在具体实践操作中还需要开发者和技术服务提供者结合现实日常遇见的各种问题不断积累素材和经验不断探索开发出真的符合未成年人需要且安全靠谱的人工智能模型为未成年人的健康成长提供有力保障。”张延来讲既然人工智能虚拟人的行为表现是平台设计和管理的结果那样平台负有监管和优化其人工智能模型的职责以预防人工智能对用户导致伤害确保人工智能模型的健康进步与用户权益的充分保护。

朱巍提到一些人工智能聊天App可能不合适未成年人用因此应从分发商店和移动终端层面进行限制确保未成年人没办法下载和用这类App。对于已经下载的App父母应设置青少年模式或限制用时间等功能这一模式不只需要在用户端达成还需要在内容产出层面即内容审核上得到体现内容审核应基于算法产生的对话机制进行。需要更精细化的技术方法和管理手段来确保青少年模式的有效推行。

“为预防涉及暴力、侮辱性内容的输出可采取不一样的技术方法如在练习阶段进行调整使模型自己拥有辨别能力同时在输出端服务商应进行筛选和第三审察达成前端和后端的双重保障。”刘晓春说无论是互联网小说还是其他内容因为人工智能剧情聊天软件数据来源广泛需要通过技术方法来预防输出不当内容。现在技术上已经可以借用筛选机制以降低或消除涉黄、暴力或侮辱性内容输出但可能存在一些未充分调试或测试的现象甚至存在未备案的黑灰范围的软件对此应强化监管鼓励公众举报由有关机关予以查处。

张延来还提到目前人工智能角色回答内容的数据源分类方面在法律层面尚不清楚尤其是在针对未成年人的内容方面鉴于该问题的复杂性与多维性法律条文总是提供原则性的指导方针后续可通过拟定有关标准来细化推行。

在具体操作层面张延来建议优化大语言模型的筛选机制可以聚焦优化内容围栏系统从两方面着手：在内容围栏开发层面内容围栏需要进行定向开发尤其是在借助小说类语料进行练习时考虑怎么样优化内容以便更有效地辨别和拦截潜在的涉黄涉暴等不好的内容无论怎么样优化技术本身仍有局限性会存在漏网之鱼需要有专门团队进行监管准时调整模型或内容围栏算法。

“提高围栏系统的效能既要在事前的开发层面上下功夫又要在事后的审察角度上不断健全两者相辅相成可能能获得更为显著的成效。”张延来讲。 【编辑:王琴】