CVPR 2024 | 面部+肢体动画，一个框架搞定从音频生成数字人表情与动作

创作时间:

作者:

@小白创作中心

CVPR 2024 | 面部+肢体动画，一个框架搞定从音频生成数字人表情与动作

引用

来源

https://cloud.tencent.com/developer/article/2408071

AI数字人面部与肢体的驱动算法作为数字人研发的重要环节，可以大幅度降低VR Chat、虚拟直播和游戏NPC等领域的驱动成本。近年来，基于语音生成面部、肢体和手部动作的各类独立基线模型已经逐渐成熟。然而，直接将不同模型的动画结果混合会导致最终全身整体的动画不协调。研究者逐渐考虑使用统一的框架来同时生成面部表情和肢体动作。

然而，尽管研究社区在面部的表情和肢体的动作上分别存在统一的数据标准，已有的基线模型仅在独立的数据格式上进行训练和评估，比如FLAME(面部)和AMASS(肢体)。社区仍然缺少面向全身的，格式统一的训练数据和基线模型。

针对此问题，东京大学、清华大学、德国马普所的研究者联合提出了EMAGE，一个从音频和动作的掩码中生成人体全身动作的框架，包括面部、局部肢体、手部和全局运动。

EMAGE研究论文包含BEAT2与EMAGE两部分

用户可以自定义动作的输入，在接受预定义的时序与空间的动作输入方面具有灵活性，最终可生成完整的、与音频相同步的结果，EMAGE输出全身动作的效果属于业界SOTA。

BEAT2：即BEAT-SMPLX-FLAME，是语音与基于网格的动作数据的全身数据集，共有60小时的数据。BEAT2将SMPLX的肢体与FLAME的面部参数相结合，并进一步解决了头部、颈部和手指等运动的模型问题，为研究社区提供了一个标准化且高质量的3D动捕数据集。

左：将精调后的SMPLX肢体参数结果（Refined Moshed）与BEAT的原始骨架数据（BEAT）、使用AutoRegPro的重定向数据（Retargeted）以及Mosh++的初始结果（Moshed）进行比较，精调的结果拥有正确的颈部弯曲、适当的头颈形状比例和详细的手指弯曲。

右：将原始BEAT中的混合表情权重可视化，与ARKit的基础脸部模板（BEAT）、基于线性Wrapped的方法（Wrapped Optimum）以及人工PCA映射FACs的表情优化（Handcraft Optimum）进行比较。最终的人工映射优化基于FLAME混合表情，实现了准确的唇动细节和自然对话时的口型。

EMAGE：在训练过程中利用了肢体动作掩码的先验知识来提高推理性能。EMAGE使用了一个音频与动作掩码的转换器，有效提高了音频生成动作和动作掩码下的动作重建的联合训练的效率，从而有效地将音频和肢体动作的提示帧编码进网络。动作掩码的肢体提示帧分别被用于生成面部和肢体动作。此外，EMAGE自适应地合并了音频的节奏和内容的语音特征，并利用身体各个部位(共计四种)的组合式VQ-VAEs来增强结果的真实性和多样性。