GPGait: 基于姿态的通用步态识别框架
GPGait: 基于姿态的通用步态识别框架
近期关于基于姿态的步态识别的研究已经表明，利用此类简单信息实现与基于轮廓的方法相当的结果具有潜力。然而，基于姿态的方法在不同数据集上的泛化能力不如基于轮廓的方法，这一问题很少受到关注，但却阻碍了这些方法在实际场景中的应用。为了提高基于姿态的方法在不同数据集上的泛化能力，我们提出了一个通用的基于姿态的步态识别（GPGait）框架。首先，提出了一种面向人类的变换（HOT）和一系列面向人类的描述符（HOD），以获得具有判别性多特征的统一姿态表示。然后，鉴于经过HOT 和HOD 后的统一表示存在细微变化，网络提取关键点之间的局部-全局关系变得至关重要。为此，提出了一种部件感知图卷积网络（PAGCN），以实现高效的图划分和局部-全局空间特征提取。在四个公开的步态识别数据集（CASIA-B、OUMVLP-Pose、Gait3D 和 GREW）上进行的实验表明，与现有的基于骨骼的方法相比，我们的模型展示了更好且更稳定的跨域能力，实现了与基于轮廓的方法相当的识别结果。
一、摘要理解
- 面向人类的变换和面向人类的描述符是怎样实现的
在配置文件中（如gpgait_Gait3D.yaml），在transform配置中，Affine和RecaleCenter就是论文提出的面向人类的变换（HOT）。而HOD_MultiInput就是面向人类的描述符（HOD）。
- 怎么理解跨域泛化能力，代码怎么实现
跨域泛化能力指的是模型在不同数据集上的表现能力。具体来说，就是在某个数据集上训练的模型，在另一个数据集上测试时的表现。这通常通过交叉验证或独立测试集来评估。
- 部件感知图卷积网络，怎么提取部分和全局特征
部件感知图卷积网络（PAGCN）通过图划分和掩码操作来实现局部-全局特征的提取。具体来说，它会根据人体关键点的位置关系构建图结构，然后通过卷积操作提取局部特征，同时通过图划分保持全局结构信息。
二、论文创新点
论文提出了一种通用的、基于姿势的步态识别框架，主要创新点包括：
表示创新：提出了一种面向人类的变换（HOT）和一系列面向人类的描述符（HOD），以获得具有判别性多特征的统一姿态表示。
模型创新：提出了一种部件感知图卷积网络（PAGCN），以实现高效的图划分和局部-全局空间特征提取。
三、论文分析
作者从提高泛化能力（跨域性能）的角度出发，通过分析研究现状，提出问题：现有研究中忽略了一个重要问题，即模型的泛化能力。通过实验发现，当测试来自未见过的环境中的步态序列时，这些方法的性能往往会急剧下降，限制了其在现实场景中的应用。
四、解决方案
输入表征：提出了一种面向人类的变换（HOT）和一系列面向人类的描述符（HOD），以获得统一且丰富的表示。具体而言，HOT 包括三个步骤，即仿射变换、身体缩放和身体对齐，通过这些步骤，将相机坐标系中捕获的原始骨骼序列转换为面向人类坐标系中的统一表示。然后，为了丰富输入，设计了一个名为面向人类描述符（HOD）的模块，以生成骨骼和角度的个体不变特征，从而明确地反映身体比例和结构。
模型设计：作者认为对不同人体部位的细粒度学习是提取有判别性的步态特征和提高泛化能力的关键。尽管我们可以通过HOT 和 HOD 获得统一的表示，但与原始姿态序列相比，统一的步态表达随时间的变化较小。因此，必须捕捉关键点之间的局部-全局关系，其中局部特征可以捕捉姿态的细微变化，全局特征可以表示整个人体结构。受步态识别领域和域泛化的最新进展的启发，设计了一种部分感知图卷积网络（PAGCN），它可以通过对邻接矩阵进行掩码操作来有效地实现图划分和局部-全局关系构建。