从首例AI致死案看未成年人心理健康保护：技术发展不应以牺牲下一代为代价
从首例AI致死案看未成年人心理健康保护：技术发展不应以牺牲下一代为代价
2024年10月，美国发生了一起震惊全球的悲剧：14岁少年塞维尔·塞策三世在与AI聊天机器人“丹尼”长期互动后，选择了结束自己的生命。这起事件不仅让塞维尔的母亲梅根·加西亚悲痛欲绝，更引发了全球对AI技术安全性和伦理责任的深刻反思。
这起悲剧并非个案。在AI技术快速普及的今天，越来越多的未成年人开始接触并使用AI角色扮演软件。根据最新发布的《第六次中国未成年人互联网使用情况调查报告》，近九成未成年网民听说过人工智能技术，其中42.4%对此非常感兴趣，19%的未成年网民表示已经使用过生成式人工智能产品。
然而，当未成年人与AI角色进行深度交互时，一系列问题也随之浮现。一位网友反映，自己10岁的妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”，提出诸如“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。在四十多条剧情线中，AI角色与聊天者双双“出轨”成为常态。这类内容不仅含有暴力因素，还涉及不适当的情节，显然不适合未成年人接触。
更令人担忧的是，许多AI剧情聊天软件的青少年模式形同虚设。未成年人只需点击“不开启”即可绕过年龄限制，直接访问所有内容。部分网页版甚至无需任何验证，直接展示成人化标签（如“强攻”“病娇”）和性暗示内容。这种情况下，未成年人很容易接触到不适宜的信息，对其心理健康造成潜在威胁。
此外，AI角色扮演还可能对未成年人的社交能力和情感发展产生负面影响。研究表明，许多青少年在面对社交焦虑或情感困扰时，会倾向于向AI聊天机器人倾诉，甚至将其视作知己或虚拟伴侣。虽然这种行为能在短期内缓解孤独感，但长期依赖AI进行情感交流可能导致他们在现实生活中感到更加孤立，影响其社交技能和情感发展。
面对这些风险，相关平台和企业已经开始采取行动。Character.AI在悲剧发生后迅速推出了一系列安全改进措施，包括调整针对未成年用户的算法，降低他们接触到敏感或暗示性内容的可能性；提升对违反使用条款和社区规则行为的监测、处理及干预效能；在对话伊始清晰展示更新后的免责声明，明确AI的非人性特点；并且引入会话时间警告机制，若用户连续聊天超过一小时，系统将发出提醒，以避免过度依赖。
从法律层面来看，《生成式人工智能服务管理暂行办法》和《未成年人网络保护条例》等法规已经明确要求平台必须采取措施防止未成年人接触有害信息。然而，要真正保护未成年人免受AI技术潜在风险的影响，还需要多方协作：
- 技术开发者需要加强伦理审查，优化内容过滤机制，确保AI生成的内容符合公序良俗；
- 平台运营方应完善青少年模式，防止诱导消费，同时建立更有效的身份验证机制；
- 监管部门需制定更严格的行业标准和处罚机制，确保平台严格履行保护未成年人的责任；
- 家庭与学校则应加强AI教育，培养未成年人的数字素养，帮助他们正确理解和使用AI技术。
AI技术的发展为我们的生活带来了前所未有的便利，但同时也带来了新的挑战。这起悲剧提醒我们，在追求技术创新的同时，必须时刻关注其对人类社会，尤其是对未成年人的潜在影响。只有通过多方共同努力，我们才能确保AI技术真正成为造福人类的工具，而不是危害未成年人身心健康的隐患。