视障者也能沉浸式玩游戏了，AI技术助力无障碍交互
视障者也能沉浸式玩游戏了，AI技术助力无障碍交互
近日，由网易游戏用户体验中心设计的《AI Eyes: Enhancing Visual Accessibility Using AI》（游戏自适应视障模式：AI助力视觉无障碍设计，以下简称“AI Eyes”）获得“设计界的奥斯卡”2024年iF设计奖。该方案运用网易互娱AI Lab等提供的AI图像识别与语音技术，跟踪游戏画面的变化，主动播报新生成的信息，使视障人士能够从图像、模型和场景等多个维度感知、理解和体验游戏。
这也是全球首个运用AI技术为视障玩家提供无障碍游戏的交互设计，让视障人士从“听游戏”到真正沉浸式玩游戏。接下来，该方案将在网易游戏多款产品中探索应用落地，让视障人群也能跟健全人一样享受社交娱乐的快乐。
目前全世界的盲人及中重度视障人群超过3亿人，无障碍的交互设计逐渐成为国际对网络应用、电子游戏的基础要求。受视力的局限再加上很多游戏应用并没有进行无障碍优化，绝大多数的游戏视障者很难参与到游戏中。他们有的只能用“文本朗读”功能“听游戏”，通过声音在想象的世界里驰骋。即使市面上有专门针对盲人玩家定制的小型游戏，但玩法种类有局限性、体量小，视障人士无法跟健全人一样体验更高质量、最热门的游戏。
“我们不能假想他们不喜欢玩，而将他们拒之门外。”网易游戏用户体验中心相关团队在无障碍研究中发现，残障人士跟健全人士在娱乐上的需求是没有区别的，游戏是他们对外社交的桥梁，借助游戏，能帮助视障人士更好地融入社会。甚至视障群体在一些游戏品类中还有更大的兴趣和优势。比如因为听觉灵敏，听声辨位是他们的乐趣，所以在射击、枪战类游戏非常擅长，甚至比健全玩家还厉害。
据介绍，网易游戏用户体验中心团队设计研发的AI Eyes ，基于图像识别、AI文本语义生成和AI语音生成技术，一旦识别到视障玩家在界面上的点触、划动交互，AI将会执行画面解释，讲述画面上局部的内容。游戏中精彩的场景画面、角色、服饰、物品均可以实时呈现给视障玩家，提升了对游戏画面的感知范围，让视障玩家能够更全面地了解游戏画面内容。
不仅如此，AI Eyes能实时感应游戏内环境、事件、角色动作等情况，AI感应后对相关实时变化内容进行自主播报，视障玩家能够第一时间了解游戏内容变化信息，从而提高游玩的沉浸感，包括天气、弹窗UI、角色待机动作等。
据介绍，该AI辅助无障碍游戏交互方案具有跨国际、跨游戏类型的普适性，既适用于如经营建造、RPG等以图像、场景氛围表现为主的游戏，又适用于2D游戏等以界面控件为主要形态的游戏，还能适用于以图像分享为主的流媒体网站。接下来，该方案将在网易游戏多款产品中探索应用落地。