【阅读文献笔记】高阶信息问题:遮挡人体识别的学习关系和拓扑
【阅读文献笔记】高阶信息问题:遮挡人体识别的学习关系和拓扑
论文信息
摘要
遮挡人体重识别（ReID）旨在将遮挡的人体图像与跨摄像头的完整图像进行匹配。在本文中，我们提出了一个新颖的框架，通过学习高阶关系和拓扑信息来获取有区分性的特征和稳健的对齐。首先，我们使用CNN骨干网络和关键点估计模型来提取语义局部特征。即便如此，遮挡图像仍然受到遮挡和异常值的影响。然后，我们将图像的局部特征视为图的节点，并提出了一种自适应方向图卷积（ADGC）层来传递节点之间的关系信息。所提出的ADGC层可以动态学习链接的方向和程度，从而自动抑制无意义特征的消息传递。在对齐两组局部特征时，我们将其视为图匹配问题，并提出了一种跨图嵌入对齐（CGEA）层来共同学习和嵌入拓扑信息到局部特征，并直接预测相似度分数。所提出的CGEA层不仅充分利用了图匹配学习的对齐，而且用稳健的软匹配替换了敏感的一对一匹配。最后，我们在遮挡、部分和整体ReID任务上的广泛实验表明了我们提出的方法的有效性。具体来说，我们的框架在OccludedDuke数据集上显著优于现有技术，mAP得分提高了6.5%。代码可在https://github.com/wangguanan/HOReID找到。
1. 引言
人体重识别（ReID）旨在匹配跨不同摄像头的人体图像，这在视频监控、安全和智能城市中有着广泛的应用。最近，已经提出了各种方法来处理人体ReID问题。然而，大多数方法都集中在完整图像上，而忽略了遮挡图像，这可能更具实际意义和挑战性。
如图1(a)所示，人们很容易被一些障碍物（如行李、柜台、拥挤的公共场合、汽车、树木）遮挡，或者走出摄像头视野，导致遮挡图像。因此，有必要匹配具有遮挡观察结果的人，这就是所谓的遮挡人体Re-ID问题。与匹配完整图像的人相比，遮挡ReID更具挑战性，原因如下：
（1）由于遮挡区域，图像包含的区分性信息更少，更有可能匹配错误的人。
（2）部分特征已被证明是有效的，但它们需要预先进行严格的人体对齐，因此在严重遮挡的情况下不能很好地工作。最近，提出了许多遮挡/部分人体ReID方法，它们大多只考虑了特征学习和对齐的一阶信息。例如，预定义的区域、姿势或人体解析用于特征学习和对齐。我们认为，除了一阶信息，还应该引入高阶信息，并且可能对遮挡ReID更有效。
2. 相关工作
2.1 人体重识别
人体重识别解决跨摄像头匹配行人图像的问题。现有方法可以分为手工制作的描述符、度量学习方法和深度学习算法。
2.2 遮挡人体重识别
给定遮挡的查询图像，遮挡人体重识别旨在在不同摄像头中找到同一人的全身外观。
2.3 部分人体重识别
与遮挡图像一样，部分图像通常由于检测不完善和摄像头视野的异常值而出现。部分人体ReID旨在匹配部分查询图像和完整图像。
3.提出的方法
3.1语义特征提取
本模块的目标是提取关键点区域的一阶语义特征。
3.2 高阶关系学习
尽管我们有了不同关键点区域的一阶语义信息，但由于不完整的行人图像，遮挡ReID更具挑战性。因此，有必要利用更具区分性的特征。
3.3 高阶人体拓扑学习
部分特征已被证明对人物ReID非常有效。一种简单的对齐策略是直接匹配相同关键点的特征。然而，这种一阶对齐策略无法处理一些糟糕的情况，如异常值，特别是在严重遮挡的情况下。
4. 训练和推理
在训练阶段，我们框架的总体目标函数如下所示。我们通过最小化L来端到端地训练我们的框架。
5. 实验
5.1 实施细节
5.2 实验结果
5.2.1 在遮挡数据集上的结果
5.2.2 在部分数据集上的结果
5.2.3 在整体数据集上的结果
5.3 模型分析
5.3.1 提出的模块分析
5.3.2 提出的层分析
5.3.3 参数分析
6. 结论
在本文中，我们提出了一个新颖的框架，用于学习区分性特征的高阶关系信息和稳健对齐的拓扑信息。通过实验，我们证明了所提出框架的有效性。
📊研究背景
该篇文章的研究目的
文章的研究目的是提出一个新的框架，用于解决遮挡人体重识别（ReID）问题。该框架旨在通过学习高阶关系和拓扑信息来获取有区分性的特征和稳健的对齐，以提高在遮挡情况下的识别准确率。
2.该篇文章的研究方法
研究方法包括以下几个关键步骤：
使用CNN骨干网络和关键点估计模型提取语义局部特征。
将局部特征视为图的节点，通过自适应方向图卷积（ADGC）层传递节点间的关系信息。
将特征对齐问题视为图匹配问题，利用跨图嵌入对齐（CGEA）层学习拓扑信息并预测相似度分数。
在端到端的训练过程中，结合分类损失和三重损失进行模型训练。
3该篇文章的研究内容
文章的研究内容包括：
提出了一个新颖的框架，用于处理遮挡人体重识别问题。
介绍了如何利用CNN和关键点估计模型提取局部特征。
详细阐述了ADGC层和CGEA层的工作原理及其在模型中的作用。
展示了在遮挡、部分和整体ReID任务上的实验结果，并与现有技术进行了比较。
4该篇文章的最大创新点
文章的最大创新点在于：
提出了自适应方向图卷积（ADGC）层，能够动态学习图中节点链接的方向和程度，从而抑制无意义特征的消息传递。
提出了跨图嵌入对齐（CGEA）层，用于学习特征对齐并预测相似度，避免了敏感的硬一对一匹配，实现了稳健的软匹配。
图例翻译
- 图1:高阶关系和拓扑信息的说明。
(a)在遮挡ReID中，关键点受到遮挡和异常值的影响。
(b)传统方法依赖于所有三个阶段的一阶关键点信息，这并不稳健。
(c)我们的方法通过图学习关系信息来学习特征，并把对齐问题视为图匹配问题，通过学习节点到节点和边缘到边缘的对应关系来建模拓扑信息。
图2:我们提出的框架的说明。它包括一阶语义模块S、高阶关系模块R和高阶拓扑模块T。
模块S学习关键点区域的语义局部特征。
在R中，我们将图像的局部特征视为图的节点，并提出自适应方向图卷积（ADGC）层来传递节点间的关系信息。
在T中，我们将对齐问题视为图匹配问题，并提出跨图嵌入对齐（CGEA）层来共同学习并嵌入拓扑信息到局部特征，并直接预测相似度分数。
图3:所提出的自适应方向图卷积（ADGC）层的说明。A是预定义的邻接矩阵，⊟、⊞、⊠是逐元素的减法、加法和乘法。abs、bn和fc分别是绝对值、批量归一化和全连接层，trans是转置。
作用：
特征增强：ADGC层主要用于增强局部特征，这些局部特征通常来自人体的关键点，如头部、肩膀等。
关系学习：通过图结构，这层学习不同关键点之间的高阶关系，即如何根据一个关键点的特征来调整和优化其他关键点的特征，尤其是在存在遮挡或部分可见的情况下。
处理流程：
特征输入：接收来自人体关键点的局部特征。
自适应信息传递：根据关键点之间的语义关系动态调整信息传递的方向和强度。
输出增强特征：输出经过关系增强的局部特征，用于后续处理。
图4:跨图嵌入对齐层的说明。这里，⊗是矩阵乘法，fc + relu表示全连接层和修正线性单元，GM表示图匹配操作，U是学习到的亲和矩阵。
作用：
对齐优化：CGEA层用于优化两组特征之间的对齐，这在匹配来自不同摄像头的人体图像时尤其重要。
拓扑信息学习：通过图匹配策略，这层学习如何将一个图像中的关键点特征与另一个图像中的关键点特征进行有效的对齐和匹配。
处理流程：
接收增强特征：输入是ADGC层输出的增强局部特征。
图匹配：通过图匹配算法，找到两组特征之间的最佳匹配关系。
特征融合：将匹配的信息融合回特征中，优化特征的对齐。
输出对齐特征：输出经过对齐优化的特征，用于最终的识别或匹配任务。
- 图5:参数γ和n在等式(13)中的分析。最优值是γ = 0.5和n = 8。当分析其中一个参数时，另一个固定为其最优值。实验结果表明，我们提出的模型对不同参数具有鲁棒性。
表例翻译
- 表1:数据集细节。我们广泛评估了我们提出的方法在6个公共数据集上，包括2个整体、2个遮挡和2个部分数据集。
表2:在两个遮挡数据集，即Occluded-Duke和Occluded-REID上与最先进技术的比较。
表3:在两个部分数据集，即Partial-REID和Partial-iLIDS上与最先进技术的比较。
表4:在两个整体数据集，即Market-1501和DukeMTMC-reID上与最先进技术的比较。
表5:一阶语义模块（S）、高阶关系模块（R）和高阶人体拓扑模块（T）的分析。实验结果表明了我们提出的三个模块的有效性。
表6:归一化关键点置信度（NORM）、自适应方向图卷积（ADGC）层和跨图嵌入对齐（CGEA）层的分析。实验结果表明了我们提出的层的有效性。