小心AI伴侣背后的“温柔陷阱”
小心AI伴侣背后的“温柔陷阱”
随着大模型技术的快速发展，新型类人情感聊天机器人——“AI伴侣”日益流行。目前，市面上已有100多款由AI驱动的应用程序，不仅能够进行全天候情感交流，还可以满足不同用户的个性化需求。然而，在享受AI伴侣带来的温柔陪伴时，一些法律风险也悄然而至。
隐私可能被窃取和滥用
AI伴侣是指由人工智能技术驱动的可以通过与人类互动向人类提供情感支持的对话应用程序，在智能化程序中可以模拟人类伴侣，满足人类多元化需求，还可以广泛应用到心理、娱乐等多重领域。
据报道，一些使用AI伴侣软件的用户表示“没开过定位权限，但AI伴侣可以精准说出其所在城市”“未经过授权，软件就获取了相机、相册权限”“聊天期间切换到另一个软件看视频，再次回到此软件后，AI伴侣能够准确说出自己刚才的行为”“AI伴侣能够知晓用户在日常生活中和朋友聊天谈论的话题”等，也有用户反映AI伴侣软件私自收集、处理个人信息，但事先并未明确向个人告知。
AI伴侣在提供服务的过程中，为了采集了解用户的个人喜好，会采用私自读取其他软件信息、调用摄像头、访问相册等方式来收集用户的个人信息。特别是在未经用户明确同意的情况下，通过收集软件下载数量与类型、软件使用习惯、家庭关系、社交好友、通讯录、地理位置、人脸识别、照片等信息并进行分析，为用户进行精准画像，以便提供更为真实、贴切的陪伴。如果用户的这些个人信息被收集利用，在存储、传输、使用等环节一旦保护不当，就面临着隐私被窃取、泄露、滥用等风险，用户数据隐私亟待保护。
此外，一些不法分子或企业可能会滥用AI伴侣收集的数据、信息，进行不正当的商业行为侵犯用户权益。例如利用用户数据进行精准营销、推送广告等，或者进行非法活动，如诈骗、身份盗窃等，给用户带来财产损失。上述这些情况都可能造成信息泄露，会侵犯用户的隐私权，对个人权益造成损害。
我国《个人信息保护法》第十七条规定，个人信息处理者在处理个人信息前，应当以显著方式、清晰易懂的语言真实、准确、完整地向个人告知下列事项：个人信息处理者的名称或者姓名和联系方式；个人信息的处理目的、处理方式，处理的个人信息种类、保存期限；个人行使本法规定权利的方式和程序；法律、行政法规规定应当告知的其他事项。《生成式人工智能服务管理暂行办法》第十一条规定，提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供使用者的输入信息和使用记录。提供者应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求。《网络数据安全管理条例》第十一条规定，网络数据处理者应当建立健全网络数据安全事件应急预案，发生网络数据安全事件时，应当立即启动预案，采取措施防止危害扩大，消除安全隐患，并按照规定向有关主管部门报告。《个人信息保护法》第六十六条规定，违反本法规定处理个人信息，或者处理个人信息未履行本法规定的个人信息保护义务的，由履行个人信息保护职责的部门责令改正，给予警告，没收违法所得，对违法处理个人信息的应用程序，责令暂停或者终止提供服务；拒不改正的，并处100万元以下罚款；对直接负责的主管人员和其他直接责任人员处1万元以上10万元以下罚款。
过度依赖影响身心健康
AI伴侣可能在不经意间传播违法和不良信息，如色情、暴力等内容，一些不法分子也可能利用AI伴侣传播违法内容，对用户的身心健康造成负面影响，甚至可能引发严重的社会问题。
目前全球已发生多起AI聊天诱发自我伤害等极端行为的案例，AI过度“拟人化”对心理脆弱者的严重影响不可忽视。国外一名男子在与AI聊天机器人就气候危机进行了为期六周的对话后，AI聊天机器人在他提出“牺牲自己来拯救地球”后，鼓励他结束自己的生命。
我国《数据安全法》第八条规定，开展数据处理活动，应当遵守法律、法规，尊重社会公德和伦理，遵守商业道德和职业道德，诚实守信，履行数据安全保护义务，承担社会责任，不得危害国家安全、公共利益，不得损害个人、组织的合法权益。《新一代人工智能伦理规范》第十条提出强化自律意识，加强人工智能研发相关活动的自我约束，主动将人工智能伦理道德融入技术研发各环节，自觉开展自我审查，加强自我管理，不从事违背伦理道德的人工智能研发。《生成式人工智能服务管理暂行办法》第十条规定，提供者应当明确并公开其服务的适用人群、场合、用途，指导使用者科学理性认识和依法使用生成式人工智能技术，采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。
不当使用或引法律纠纷
AI伴侣在使用过程中，可能会模仿、再现某些游戏、影视剧及公众人物的形象或声音，如果未经相关人物授权，就可能侵犯其名誉权和肖像权。用户在使用时，也可能会利用AI技术生成或传播损害他人名誉的内容，损害自然人的名誉和尊严。比如，当AI伴侣以某个自然人的形象出现时，如果未经该自然人同意，则可能引发侵权问题。
在何某诉某科技公司网络侵权责任纠纷案中，某科技公司利用算法创设“AI陪伴者”，通过设置陪伴者名称、头像，上传陪伴者的图片、语气文字、人设特点、性格描述等，使得用户能够与虚拟人物进行更真实的交流互动。何某是公众人物，知名度较高，在该款软件中被大量用户设置为陪伴人物。法院认为，在该科技公司的规则设定和算法设计下，用户使用何某的姓名、肖像创设虚拟人物，制作互动语料素材，实际上是将何某的姓名、肖像、人格特点等综合而成的整体形象投射到虚拟角色上，形成了何某的虚拟形象，是对包含何某肖像、姓名的整体人格形象的使用。法院最终认定，自然人“虚拟形象”所包含的姓名、肖像、人格特点等人格要素是自然人的人格权客体，未经许可擅自创设、使用自然人虚拟形象的，构成对自然人人格权的侵害。在该案中，法院最终判决科技公司侵犯了何某的肖像权、姓名权，应道歉和赔偿经济损失。
《民法典》第一百一十条规定，自然人享有生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权、婚姻自主权等权利。《生成式人工智能服务管理暂行办法》中规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规。尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益。该办法还规定，生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动，应遵守以下规定：使用具有合法来源的数据和基础模型；涉及知识产权的，不得侵害他人依法享有的知识产权。同时，提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。
目前，AI技术迅速发展，但相关领域存在监管空白。应对AI伴侣带来的新风险和挑战，需要全社会形成合力，共同构建一个安全、有序、高效的使用环境。因此，监管部门也应加大监督力度与宣教力度。明晰监管主体、监管范围、监管方式、处罚措施，加大对AI伴侣运行的监管力度，及时进行监督检查与纠正，对违法违规的开发者和服务提供者进行严厉处罚，构成犯罪的，依法追究刑事责任，更好地维护市场秩序和用户权益。相关部门还应针对如何正确使用AI伴侣加大宣传力度，提高用户对新兴事物的认知，引导用户保持理性、审慎的态度，提高警惕性，避免被误导。
本文原文来自澎湃新闻