AI看唇语，在嘈杂场景的语音识别准确率高达75%
AI看唇语，在嘈杂场景的语音识别准确率高达75%
Meta公司最新研发的Audio-Visual Hidden Unit BERT（AV-HuBERT）技术在语音识别领域取得了重大突破。通过结合视觉和听觉信息，AV-HuBERT在嘈杂环境下的语音识别准确率高达75%，远超传统纯音频识别系统。
研究表明，视觉线索在语言学习中起着关键作用。相比之下，传统的人工智能语言识别系统主要依赖音频数据，需要大量数据进行训练，通常需要数万小时的记录。
为了研究视觉效果，尤其是嘴部动作的镜头是否可以提高语音识别系统的性能，Meta的研究人员开发了AV-HuBERT。这是一个通过观看和聆听人们说话来理解语言的框架。
AV-HuBERT的技术优势
Meta声称AV-HuBERT比使用相同数量转录量的最佳视听语音识别系统准确率高75%。此外，该公司表示，AV-HuBERT使用十分之一的标记数据优于以前最好的视听语言识别系统，这使得它可能对音视频数据很少的语言具有潜在的用途。
Meta AI研究科学家Abdelrahman Mohamed表示：“在未来，像AV-HuBERT这样的AI框架可用于提高语音识别技术在嘈杂的日常条件下的性能，例如，在聚会上或在熙熙攘攘的街头中进行的互动。智能手机中的助手、增强现实眼镜和配备摄像头的智能扬声器，例如Alexa Echo Show也可以在这项技术中受益。”
目前，Meta已将相关代码开源到GitHub。
技术创新与突破
Meta并不是第一个将人工智能应用于读唇语问题的公司。2016年，牛津大学的研究人员创建了一个系统，该系统在某些测试中的准确率几乎是经验丰富的唇读者的两倍，并且可以实时地处理视频。2017年，Alphabet旗下的DeepMind在数千小时的电视节目中训练了一个系统，在测试集上可以正确翻译约50%的单词而没有错误，远高于人类专家的12.4%。
但是牛津大学和DeepMind的模型，与许多后续的唇读模型一样，在它们可以识别的词汇范围内受到限制。这些模型还需要与转录本配对的数据集才能进行训练，而且它们无法处理视频中任何扬声器的音频。
AV-HuBERT的独特之处在于它利用了无监督或自我监督的学习。通过监督学习，像DeepMind这样的算法在标记的示例数据上进行训练，直到它们可以检测到示例和特定输出之间的潜在关系。然而，AV-HuBERT自学对未标记的数据进行分类，处理数据以从其固有结构中学习。
AV-HuBERT也是多模态的，因为它通过一系列的音频和唇部动作提示来学习感知语言。通过结合说话过程中嘴唇和牙齿的运动等线索以及听觉信息，AV-HuBERT可以捕捉这两种数据类型之间的细微关联。
最初的AV-HuBERT模型在30小时的TED Talk视频上进行了训练，大大少于之前最先进模型的31,000小时的训练时间。但是，尽管在较少的数据上进行了训练，AV-HuBERT的单词错误率（WER）（衡量语音识别性能的指标）在可以看到但听不到说话者的情况下略好于旧模型的33.6%，前者为32.5%。（WER的计算方法是将错误识别的单词数除以总单词数；32.5%转化为大约每30个单词出现一个错误。）在433小时的TED演讲训练进一步将AV-HuBERT的WER降低到28.6%。
一旦AV-HuBERT很好地了解了数据之间的结构和相关性，研究人员就能够在未标记的数据上进一步训练它。上传到YouTube的2,442小时名人英语视频，这不仅使WER下降到26.9%，而且Meta表示，它表明只需要少量标记数据来训练特定应用程序（例如，当多人同时说话时）或不同语言的框架。
事实上，Meta声称当背景中播放响亮的音乐或噪音时，AV-HuBERT在识别一个人的语音方面比纯音频模型好约50%，当语音和背景噪音同样响亮时，AV-HuBERT的WER为3.2%，而之前的最佳多模式模型为25.5%。
潜在的缺点
在许多方面来看，AV-HuBERT象征着Meta在用于复杂任务的无监督、多模式技术方面不断增长的投资。
Meta表示AV-HuBERT可以为开发“低资源”语言的对话模型开辟可能性。该公司建议，AV-HuBERT还可用于为有语言障碍的人创建语音识别系统，以及检测深度伪造和为虚拟现实化身生成逼真的嘴唇运动。
在各方面数据上，新方法的变现着实很精彩，但也有学者有一些担忧。
其中，华盛顿大学的人工智能伦理学专家Os Keye就提到，对于因患有唐氏综合征、中风等疾病而导致面部瘫痪的人群，依赖读唇的语音识别还有意义吗？
在微软和卡内基梅隆大学的一篇论文中，提出了人工智能公平性研究路线图，指出类似于AV-HuBERT的面部分析系统的某些方面可能不适用于患有唐氏综合症、软骨发育不全（损害骨骼生长）和“导致特征性面部差异的其他条件”等。
Mohamed强调AV-HuBERT只关注唇部区域来捕捉唇部运动，而不是整个面部。他补充说，与大多数AI模型类似，AV-HuBERT的性能将“与训练数据中不同人群的代表性样本数量成正比”。
“为了评估我们的方法，我们使用了公开可用的LRS3数据集，该数据集由牛津大学研究人员于2018年公开提供的TED Talk视频组成。由于该数据集不代表残疾说话者，因此我们没有预期性能下降的特定百分比，”Mohamed说。
Meta表示，它将“继续在背景噪声和说话者重叠很常见的日常场景中进行基准测试和开发改进视听语音识别模型的方法。”