GVHMR：从视频中识别任意视角动作的创新技术

创作时间:

作者:

@小白创作中心

GVHMR：从视频中识别任意视角动作的创新技术

引用

来源

https://heehel.com/aigc/gvhmr.html

近年来，随着计算机视觉和人工智能技术的快速发展，从视频中准确捕捉和理解人体运动已成为一个重要的研究方向。近日，由浙江大学、香港大学、Deep Glint和深圳大学联合提出了一种创新方法——GVHMR（Gravity-View Human Motion Recovery），该方法能够从单目视频中恢复基于世界坐标系的人体运动，为动作捕捉、虚拟现实和机器人技术等领域带来了新的突破。

由浙江大学、香港大学、Deep Glint、深圳大学联合提出了一种从单目视频中恢复基于世界的人体运动的新颖方法——GVHMR，这个问题的主要挑战源于定义世界坐标系的模糊性，因序列而异。
以前的方法试图通过预测相对值来缓解这个问题以自回归方式在帧之间进行运动，但容易产生累积误差。相反，我们建议通过在新颖的重力视图（GV）中估计人体姿势来解决这一挑战坐标系，由世界重力和摄像机视图方向定义。所提出的 GV 系统自然是重力对齐的，并且为每个视频帧唯一定义，很大程度上减少学习图像姿势映射的模糊性。
GV 框架中的估计姿势可以转换回给定相机的世界坐标系运动以形成全局运动序列。此外，每帧估计避免了自回归方法中的误差累积。野外基准的实验结果表明我们的方法可以恢复更真实的运动在相机空间和基于世界的环境中，都优于最先进的方法准确性和速度。

GV 坐标： (1) 自然考虑重力。 (2) 为每个图像唯一定义。 (3)避免连续图像沿重力方向的误差累积。

GVHMR技术实现

渠道：给定单目视频（左），GVHMR 通过跟踪人体边界框、检测 2D 关键点、提取图像特征以及使用视觉里程计 (VO) 或陀螺仪估计相机相对旋转来预处理视频。然后，GVHMR 将这些特征融合到每帧标记中，并使用相关转换器和多任务 MLP 进行处理。输出包括：（1）中间表示（中），即重力视图坐标系中的人体方向、SMPL坐标系中的根速度以及预定义关节的平稳概率； (2) 相机框架 SMPL 参数（右上）。最后，通过将中间表示转换为世界坐标系来恢复全局轨迹（右下），如第 2 节3.1.中所述。

GVHMR应用场景

想象一下，你用手机拍摄了一个跳舞的视频。通常，视频只能从手机的视角捕捉到舞者的2D动作。但是，科学家们发明了一种新技术，可以让电脑从这个2D视频中推断出舞者在真实三维空间中的完整动作，甚至能判断出他们是如何与重力相互作用的。这就像是给视频里的舞者加上了一个看不见的“骨架”，让电脑能够理解他们的每一个动作。这项技术可以用于动画制作、虚拟现实或者帮助机器人学习如何模仿人类的动作。

Guide-and-Rescale技术原理

Guide-and-Rescale是一种用于提高人体姿态估计准确性的技术。它通过使用一个额外的指导图（如深度图或人体轮廓图）来辅助主网络的训练和预测。这个指导图提供了额外的信息，帮助主网络更好地理解人体的姿态和形状。在训练过程中，主网络和指导网络共同优化，而在预测时，指导网络的输出被用来调整和优化主网络的预测结果。