华东政法大学调研：AI情感陪伴产品需加强隐私保护和现实连接

华东政法大学调研：AI情感陪伴产品需加强隐私保护和现实连接

随着AI技术的发展，AI情感陪伴产品逐渐走进人们的视野。用户能够与AI建立起爱人、知己、搭档等亲密关系，但这类产品也带来了隐私侵犯、伦理问题、社交关系异化等诸多问题。华东政法大学暑期实践小组近期对AI情感陪伴产品进行了深入调研，揭示了其发展现状和潜在风险，并提出了相应的建议。

华东政法大学暑期实践小组的调研发现，近两年，依托智能体数据分析技术，AI伴侣应用掀起热潮，甚至成为社交平台的流量密码。然而，这类产品存在诸多问题和风险：

一方面，“AI情感陪伴”虽然发展迅猛，但核心技术水平有待提升。其基础语言模型离达到高水准“拟人化”的人机情感交互体验仍有很大的距离。研发者可能存在文化偏见、性别歧视等，如果体现在算法之中，由于尚未有效限制未成年人的使用，可能会对用户的价值观造成不良的引导，比如擦边行为、淫秽色情内容等。一些“AI情感陪伴”应用平台会处理大量个性化信息，甚至是一些敏感隐私信息，存在信息泄露和违规滥用等风险。部分粘性用户已产生心理依赖，会在AI模型因内容或其他原因被开发商下架、清空数据后，产生过度悲伤的情绪。

另一方面，相关应用尚未得到专门的政策支持、行业规范和法律关注，产业链的构建尚不完善，版权问题日益明显，未能形成高效运转、健康发展的生态系统。作为个性化服务，意味着个性化价格，其不稳定的盈利模式对消费者权益构成风险。

针对以上问题和风险，调研小组建议：

1. 研发者应从基础算法模型入手，通过构建一套问题反馈与模型优化机制、综合比较各类语言模型、加强数据样本的输入来优化基础算法。
2. 避免开发过度沉浸的虚拟体验，要经常性提醒用户“你是在与AI互动，而非真人”，防止用户脱离现实生活；避免开发仅供娱乐的功能，缺乏对用户现实生活的积极影响；避免只提供虚拟世界的奖励和成就，忽视现实中的实际成就。
3. 加强产品人性化、多样化、社会化设计。如通过人机互动，鼓励用户在现实世界中完成相应的任务；基于用户兴趣和地点，推荐附近的社交活动、志愿服务和社区项目；帮助用户制定学习和成长路径，提供长期支持和反馈；引导用户与现实中的朋友和家人建立和维护情感联系。

去年，我国公布的《生成式人工智能服务管理暂行办法》划定了AI使用的底线，如尊重他人合法权益、不得危害他人身心健康等。在目前的基础上，需要进一步在细分领域制定更具体的准则，如年龄限制，不同适用场景的限制等。尤其是针对未成年人群体，要加强对未成年用户的精准识别，同时根据应用内容的适宜性与复杂性，实施更为细致的内容与功能访问限制和防沉迷机制，确保“AI情感陪伴”产品在提供温馨陪伴的同时，严格守护未成年人的心理健康与成长环境。