同济24岁团队研发AI手语大模型，摘得“上证杯”最高奖

同济24岁团队研发AI手语大模型，摘得“上证杯”最高奖

在首届“上证杯”上海大学生创新创业大赛中，同济大学学生项目《FingerDance——构建全球聋人的“巴别塔”》经过激烈角逐，最终获得第四届“海聚英才”全球创新创业大赛全国总决赛最高奖项——全球“金聚奖”。这个由平均年龄仅24岁的年轻团队开发的项目，致力于通过自研的手语大模型，解决全球近一亿聋人在信息获取方面的障碍。

教育是民族振兴、社会进步的基石，科技是国家强盛、民族复兴的动力，人才是创新驱动、高质量发展的核心。在新时代背景下，为推动教育、科技、人才“三位一体”高质量融合发展，深化拔尖创新人才的培养与引进，首届“上证杯”上海大学生创新创业大赛于2023年12月正式启动，至2024年8月圆满落幕。

本次大赛旨在通过打造“以赛引才、以赛选才、以赛聚才”赛事平台，激发青年大学生的创新创业活力，推动人才、技术、产业深度融合，助力上海建设成为全球青年创新创业的首选之地。

参赛历程与收获

对于FingerDance团队而言，参加首届“上证杯”上海大学生创新创业大赛是一次非凡的经历。这个平台不仅为他们提供了一个展示创新想法和实现个人价值的舞台，更是一个汇聚全球青年才俊、激发创新创业活力的盛会。大赛的核心理念“以赛引才、以赛选才、以赛聚才”深刻体现了上海对于人才和创新的高度重视。通过这次比赛，团队感受到了上海作为全球青年创新创业首选之地的巨大潜力和独特魅力，也见证了这座城市对于科技创新和人才培养的坚定承诺。

在“上证杯”的鼓舞和宣传推动下，FingerDance团队相继获得上海市公益组织创新创业大赛金奖等多项赛事荣誉。他们还受到教育部的特别邀请，在中国国际大学生创新大赛成果展和联合国世界城市日中国主场活动中精彩亮相。同时，团队也收到了第一财经的专访邀约，让项目能在媒体聚光灯下，向更广泛的受众宣传和展示创新成果和社会价值。

项目介绍与技术创新

FingerDance项目致力于通过自研的手语大模型，解决全球近一亿聋人在信息获取方面的障碍，支持公共服务，实现新闻媒体、政务、金融、医疗、教育等全场景AI手语播报。可定制的手语数智生命，助力千行百业进行聋人信息无障碍基础设施建设，在未来可支持300+普通人语言和多国手语之间转译，构建全球聋人的“巴别塔”。

技术路线

产品形态

核心技术创新

1. 行业首创的AI手语大模型：FingerDance项目开发了行业首个AI手语大模型，该模型不仅能够理解手语，还能提供智能手语翻译服务，极大地推动了无障碍通信的发展。

2. 多语言手语数据集：项目建立了一个综合性的多语言手语数据集，该数据集包含了大量视频，并转换成模型友好的格式，优化了翻译模型的训练。

3. 多语言手语制作模型：FingerDance项目提出了SL-LLM模型，这是第一个多语言手语生成（SLP）模型，允许从输入文本或提示生成手语手势。

4. 高准确度的手语识别：通过人工智能以前所未有的准确度识别ASL字母手势，正确识别标志的概率达到98%，总体性能得分达到99%。

5. 3D数字人技术：FingerDance利用3D数字人技术帮助聋人社区，通过将文本或语言指令转换为手语，快速生成3D数字人的手语动画，解决聋人在信息交流中的问题。

6. 全场景应用：FingerDance的技术广泛应用于公共交通等实体空间以及网络媒体平台等虚拟空间，提供即时、便捷的手语转换服务。

7. 全球聋人的“巴别塔”：项目旨在构筑全球聋人的“巴别塔”，通过AI技术打造一个聋人的“科大讯飞”，提供包括AI手语翻译器和AI手语播报员等创新技术。

8. 无障碍解决方案：FingerDance提供了AI时代的无障碍解决方案，让无障碍不再有障碍，其技术确保了连续的技术更新和支持，促进了信息在物理和数字世界的无障碍访问。

成果转化与社会影响

FingerDance项目的成果已经得到了广泛的认可和应用：

1. 产品成功入选《中国残联辅助器具指导名录》。

2. 相关成果在CVPR，ICCV, NeurIPS等人工智能顶级会议亮相。

3. 获国家和政策层面高度关注和认可，作为代表性项目，向中国、新加坡两国副总理分别做专题汇报。

4. 由中国国务院特批，为西安残运会聋哑人提供一站式手语翻译服务。

5. 在微软全球多元与包容大会现场，提供手语翻译服务。

6. 与新加坡地铁公司SBS-Transit达成深度的合作，目前产品已经落地新加坡地铁。

7. 受到了CCTV、CETV、教育部新闻办、新华社以及CNA等海内外媒体的多次跟踪报道。

团队感言

FingerDance核心团队的平均年龄是24岁，他们深信年轻更像是一种心态，一种敢于挑战、勇于探索的精神。在创业这条充满高风险、高强度和高不确定性的道路上，他们希望凭借着无限的活力和冲劲，为了自己热爱的目标而努力，通过自研的手语大模型，打破沟通障碍，构建全球近一亿聋人的“巴别塔”。

上海是一座充满朝气与活力的城市，吸引了无数优秀的青年创业者。“上证杯”不仅为他们提供了一个展示自己的舞台，更为他们搭建了一个认识更多志同道合伙伴的交流平台。他们坚信，作为青年创业者，他们将与上海这座城市共同成长，共同发现无限的可能！

大赛背景与展望

首届“上证杯”上海大学生创新创业大赛的成功举办，为推动教育、科技、人才“三位一体”高质量融合发展，深化拔尖创新人才的培养与引进提供了有力支持。大赛不仅激发了青年大学生的创新创业活力，还推动了人才、技术、产业的深度融合，助力上海建设成为全球青年创新创业的首选之地。

“聚上海 创未来 赛青春”第二届“上证杯”“海聚英才”上海大学生创新创业大赛现已正式启动，期待更多优秀青年大学生的参与，为促进上海高水平人才高地建设贡献力量。