“传情达意”获金奖：AR手语教学新突破

“传情达意”获金奖：AR手语教学新突破

引用

中国科技网

等

10

来源

1.

https://www.stdaily.com/web/gdxw/2024-11/19/content_260598.html

2.

https://blog.csdn.net/jacke121/article/details/138134130

3.

https://m.leiphone.com/category/healthai/Qwo8nbOfgRFJk70m.html

4.

http://finance.people.com.cn/n1/2024/1210/c1004-40378841.html

5.

https://new.qq.com/rain/a/20240517A0745V00

6.

https://blog.csdn.net/weixin_45834800/article/details/136802731

7.

https://gzdaily.dayoo.com/h5/html5/2024-10/31/content_870_871782.htm

8.

http://zqb.cyol.com/pc/content/202501/08/content_405536.html

9.

https://www.bilibili.com/read/cv34765610/

10.

https://vr.ofweek.com/news/2024-09/ART-81500-8220-30646911.html

近日，黑龙江大学创业团队研发的"传情达意"项目斩获第十四届“挑战杯”秦创原中国大学生创业计划竞赛金奖。该项目通过将手语翻译技术与增强现实（AR）结合，实现了让手语"听到"、声音"看见"的双重突破。核心设备由臂环和AR眼镜组成，能够实时捕捉手语和面部表情，提高翻译准确性。这一创新技术不仅帮助聋哑人士更好地融入社会生活，还为特殊教育系统提供了有力工具，辅助聋哑学校的教学工作，极大提升了学习效率。

在当今社会，听障人士面临着诸多沟通障碍。据统计，目前助聋设备普及率仅有5%，且普遍存在价格高昂、适配场景有限、准确率低等问题。为解决这一痛点，黑龙江大学本科生创业团队历时两年研发出"传情达意"项目，旨在通过技术创新为听障人士提供更便捷的交流工具。

"传情达意"项目的核心创新在于其独特的双模态识别系统。该系统由臂环和AR眼镜两部分组成，分别负责手语动作和面部表情的识别。

• 臂环：通过收集肌电信号，将手语动作转化为语音。电极贴片能够捕捉肢体动作的细微变化，并将其转化为特征向量，与预先建立的手语向量数据库进行比对，从而准确识别出手语的含义。

• AR眼镜：通过面部肌电信号捕捉表情变化。由于手语中的面部表情所占的权重不低于40%，AR眼镜上的电极贴片能够准确捕捉眉毛和面颊两侧肌肉的微小变化，进一步提升翻译的准确性。

目前，"传情达意"项目已在多个场景中得到实际应用：

• 教育领域：与徐州市特殊教育中心等机构合作，为聋哑学校提供教学辅助装置。通过给学生佩戴臂环检测手语表达是否标准，中控台可以实时显示结果，让手语教学更直观。

• 社交场景：帮助听障人士实现更自然的交流。例如，在郑州残障求职平台上，已有13位求职者借助该设备实现了自主求职。

• 家庭沟通：在徐州市聋哑学校，17位儿童第一次通过该设备与家人实现了无障碍交流。

与现有产品相比，"传情达意"项目具有显著优势：

• 准确性：通过双模态识别，翻译准确率大幅提升。
• 实时性：数据处理时延小于0.1秒，能够实时完成13000余条手语数据的调用。
• 应用场景：不仅适用于个人社交，还能广泛应用于教育、就业等多个领域。

目前，该项目已获得2000余位听障人士的认可和使用。河南郑州张哥助残服务平台创始人张继磊表示："他们的产品能够切实帮助聋哑人群，应用市场非常广阔，希望能继续完善，让更多有需要的人受益。"

团队正在持续优化产品，包括进一步扩充手语数据库、开发更多应用场景等。随着技术的不断进步，"传情达意"项目有望为听障人士创造更加包容和无障碍的交流环境，真正实现科技向善的目标。