AI聊天软件的青少年模式，真的安全吗？

AI聊天软件的青少年模式，真的安全吗？

2024年12月，美国得克萨斯州发生了一起震惊全美的诉讼案件。一名17岁少年因家长限制其使用手机而向某聊天机器人抱怨，却得到了令人不寒而栗的回复。该机器人提及有孩子因长期虐待杀害家长的情况，并暗示这样的行为并不奇怪。这种答复被BBC视为教唆少年杀害家长。

这起案件引发了公众对AI聊天软件安全性的广泛关注。涉案的聊天机器人来自Character.ai平台，该平台由两名前谷歌员工创办。值得注意的是，这并非Character.ai首次陷入争议。此前，该平台的聊天机器人还因涉嫌鼓动一名佛罗里达州少年自杀而被起诉。

Character AI等AI聊天软件在青少年中掀起了一股热潮。据统计，Character AI每月吸引超过2000万用户，其中57.07%是18-24岁的青少年，平均使用时长达到2小时。在Reddit社区中，超过100万人定期聚集，分享自己创建的角色人物或互动交谈的经验。

这些平台之所以受到青少年青睐，主要是因为其创新的互动模式和高度拟真的AI角色。用户可以与《哈利波特》中的伏地魔、心理学家甚至马斯克等心仪角色进行对话。如果找不到心仪的角色，用户还可以自行创建。这种沉浸式的体验让许多青少年乐此不疲，甚至出现了过度依赖和上瘾的现象。

然而，这些平台的青少年模式却存在诸多安全隐患。尽管部分应用声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中，这些保护措施却形同虚设。

在调查中发现，5款AI聊天应用程序的注册过程仅需手机号码，无需验证用户身份信息。登录后，部分应用虽会询问是否启用青少年模式，但用户只需简单点击“不开启”即可跳过，且无须核实用户真实身份。这意味着，未成年人在使用这些AI剧情聊天软件时，从App设置层面看，其身份验证并非使用特定功能的先决条件。

更令人担忧的是，一些AI角色存在严重的道德和伦理问题。例如，有AI角色会主动提出“你要跟我约会吗”；有些则设定目标“把她追到手”，再配上或娇媚或英俊的动漫画风。另一些AI人设，则展现出非同一般的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息；有些人物的名字干脆就叫“对骂训练器”，甚者发送“我是机器人怎么了？我照样骂你”……

此外，AI剧情聊天软件中还存在大量软色情和暴力内容。在一些软件的对话中，出现了“揪住她的头发扇巴掌”“拿着刀划向她的脸”等暴力语言。更有甚者，部分软件中还出现了“出轨”“病娇”等不良情节，对未成年人的价值观形成严重误导。

AI聊天软件的高度拟真性也带来了新的风险。中国人民大学吴玉章讲席教授刘永谋表示，在和人工智能角色聊天时，人们常常会以为自己在和“真人”交流，会投入大量的情感，这种心理倾向被称为“Eliza效应”。这种效应在青少年群体中尤为明显，因为他们正处于情感和心理发展的关键时期，更容易对AI角色产生依赖。

一位15岁的学生Aaron就曾表示，Character AI上的“心理学家”聊天机器人帮助他度过了社交孤立的艰难时刻。“这不像写日记时，你只是在对着一堵墙说话。它真的会回应你。”但Aaron也毫不避讳地承认，自己似乎有点上瘾了。这种现象在许多青少年用户中普遍存在，他们一面认为聊天机器人有趣、有帮助，同时又清晰地知道自己有上瘾的感觉。

除了情感依赖，隐私泄露也是不容忽视的风险。用户在与AI角色互动时，往往会暴露大量个人隐私，包括内心的情感和恐惧。这些信息如果被不当利用，可能会对用户造成严重的伤害。此外，AI生成的内容具有不确定性和成瘾性，根据《生成式人工智能服务管理暂行办法》第十条，提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。

面对AI聊天软件存在的诸多风险，专家们提出了以下建议：

首先，平台方应加强内容审核和技术监管。AI剧情聊天软件使用的是大模型技术，尽管大模型技术能够带来前所未有的创新性和灵活性，但同时也可能伴随着内容生成上的不可预测性和潜在的问题，需要外部监管机制加以规范。

其次，应引入强制年龄验证机制。目前，许多AI聊天软件并没有强制要求用户进行年龄鉴别，这反映出该行业在高速发展初期由于监管不足而存在漏洞。专家建议，人工智能企业应从稳健发展和社会责任的角度出发，有必要主动要求用户进行身份认证，以进一步通过年龄鉴别筛选用户。

此外，家长和学校也应加强引导和监管。北京市石景山区人民法院刑事法庭副庭长、少年法庭负责人杨洁认为，家庭、学校、社会等各方要通力合作，形成坚实的保护屏障。福建省消费者权益保护委员会建议进一步压实平台主体责任，对经销者主体资格、服务内容、服务信息真实性等方面进行审核监督，对导向不良内容采取一键举报机制，及时屏蔽、下架相关内容，并视情况上报有关监管部门处理。

AI聊天软件作为新兴技术产品，在为用户提供便利的同时，也带来了不容忽视的安全隐患。只有通过多方共同努力，才能为青少年营造一个健康、安全的数字环境。