深度学习+度量学习的综述

深度学习+度量学习的综述

深度度量学习是近年来机器学习领域的重要研究方向，它结合了深度学习的特征提取能力和度量学习的相似性度量能力，广泛应用于人脸识别、医疗诊断、3D建模等多个领域。本文将从度量学习的基础概念出发，深入探讨深度度量学习的原理、应用、样本选择策略以及各种损失函数，帮助读者全面了解这一前沿技术。

1. 介绍

如今，机器学习的应用广泛，包括人脸识别、医疗诊断等，为复杂问题和大量数据提供解决方案。机器学习算法能基于数据产生成功的分类模型，但每个数据都有其问题，需定义区别特征进行正确分类。常用的机器学习算法包括k最近邻、支持向量机和朴素贝叶斯分类器，但需注意特征加权和数据转换。

度量学习（Metric Learning）是机器学习领域中的一个重要分支，它专注于学习数据集中样本之间的相似性或距离度量。这种学习方法在许多机器学习应用中发挥着关键作用，特别是在那些需要比较和区分不同样本的任务中。

深度学习提供了新的数据表示，自动提取特征，包括非线性结构。深度学习和度量学习结合成深度度量学习（如图1），基于样本相似性原理。网络结构、损失函数和样本选择是深度度量学习成功的关键因素。

本综述旨在探讨深度度量学习的意义以及该领域所面临的问题，介绍了其背景、最新改进、与深度学习的关系，并详细解释了深度度量学习问题、样本选择和度量损失函数，同时提出了深度度量学习的现状和未来。

图1 深度度量的学习

2. 度量学习

每个数据集在分类和聚类方面都有特定的问题，需要一个良好的距离度量才能获得成功的结果。度量学习方法通过分析数据提供了新的距离度量，提高了样本数据的区分能力。其主要目的是学习一个新的度量，以减少同一类样本之间的距离并增加不同类样本之间的距离。这样可以在不同对象之间创造更大的间隙，从而优化分类和聚类的效果，如图1c。

文献中的度量学习研究与马哈拉诺比斯距离度量直接相关。训练样本X由N个d维向量组成，xi和xj之间的距离计算公式为马哈拉诺比斯距离：

图3 深度度量学习的学术出版物数量

深度度量学习在各种主题上取得了显著成果（表1），如图像聚类、图像检索、3D形状检索和语义文本相似性任务。评估指标包括F1、归一化互信息（NMI）、召回@R（排名精度）、准确性、第一层（FT）、最近邻（NN）、Emeasure（E）、第二层（ST）、折扣累积增益（DCG）和平均精度（mAP）、皮尔逊相关性（r）、斯皮尔曼相关性（ρ）和均方误差（MSE）、等错误率（EER）和最小决策成本函数（MDCF）。

表1 深度度量学习问题的基准数据集比较

深度度量学习由信息输入样本、网络模型结构和度量损失函数组成。信息样本选择对分类和聚类至关重要，影响网络成功率和训练速度。随机选择正负对象对是最简单的训练样本对比损失方法，但在网络性能达到一定水平后，学习过程可能会减慢。硬负挖掘和三元组网络等方法可以提高网络性能，但简单的三元组可能效果不佳。因此，使用信息丰富的样本三元组可以提供更好的训练模型。

硬负样本是假阳性样本，半硬负挖掘寻找边界内负样本，与硬负样本相比，负样本距离锚样本更远。三元组挖掘根据锚点、正样本和负样本之间的距离进行负挖掘，如图 4 所示。负样本距离锚点太近会导致梯度高方差和低信噪比，建议使用距离加权采样避免噪声样本。负类挖掘使用每个类样本之一作为三重网络的负样本，使用贪婪搜索策略选择多个负样本。

图4 负挖掘

总之，即使有良好的数学模型和架构，网络的学习能力也会受到样本辨别能力的限制。因此，应向网络呈现有区别的训练样例，以实现更好的学习和表示。样本选择作为预处理步骤可以提高网络模型的成功率。深度度量学习中的负挖掘研究具有高影响价值。选择信息丰富的样本可以避免过度拟合，提高学习速度，并减少资源浪费。因此，在选择信息丰富的样本后，可以实现性能的显著提高。

3.3 深度度量学习的损失函数

本节将介绍用于应用深度度量学习的损失函数，包括其使用方式和差异。这些函数帮助我们通过调整对象相似性来优化特征表示。

Siamese网络最初用于签名验证，基于从基于能量的模型的判别学习框架中学习。该方法将两张相同图像放入连体网络，通过学习获得二进制值，判断图像是否属于同一类。Siamese网络作为度量学习方法，接收成对图像训练网络模型。图像对之间的距离通过损失函数计算（等式（5））。对比损失使Siamese网络受益，启发了深度度量学习领域的研究人员。Siamese网络可以最大化或最小化对象之间的距离以提高分类性能。共享权重用于在深度度量学习中获得图像中有意义的模式，如图 5 所示，对神经网络性能产生积极影响。Siamese网络和卷积神经网络可以结合，同时从直接图像像素、颜色和纹理信息进行相似性学习。深度度量学习模型结合两个Siamese卷积神经网络和马哈拉诺比斯度量进行行人重新识别。

图6 度量损失函数

在训练阶段之前，必须为Siamese、Triplet和n-double网络准备训练数据，此过程需要更多磁盘空间并且非常耗时。宋等人提出了一种新的深度度量学习方法，使用聚类损失将样本聚集在一个聚类中（图 6g），防止不同的簇相互接近。里佩尔等人强调三元组损失一次评估一个三元组样本来训练数据集，减少网络的学习时间。然而，这种方法会导致性能不佳和培训不足。因此，他们建议磁体损失，这会惩罚簇重叠并评估簇中最近的邻居以分离多个簇。所提出的方法具有局部区分度，并且与优化过程全局一致。混合损失受到三元组损失的启发，除了anchor和负样本之外，还使用三个正样本和三个负样本来建立样本之间的相似关系。图6h说明了在使用局部邻域时相似样本如何接近最近的集群。表2详细总结了文献中最先进的损失指标。

表2 损失指标

4. 讨论

深度度量学习(DML)用于人脸验证、识别、人员重识别和3D形状检索，表1显示，DML对类别多、样本少的任务效果显著。DML由度量损失函数、采样策略和网络结构组成，如Siamese、Triplet和Quadruple网络。度量损失函数如对比损失、三重损失、四重损失和n对损失，增加数据样本大小，但可能导致训练时间过长和内存消耗大。硬负挖掘和半硬负挖掘提供信息丰富的样本，而正确的采样策略对快速收敛至关重要。聚类损失作为度量函数，无需数据准备步骤。DML通常在GPU上执行，但某些策略也可用于CPU集群以使用大批量数据。DML高度依赖数据，度量损失函数可能无法提供快速收敛。预训练网络模型的权重有助于嵌入空间快速收敛和更具辨别力的学习。

5. 结论

深度度量学习是近年来的研究热点，旨在学习相似性度量，用于计算对象间的相似性或不相似性。目前，Siamese和Triplet网络在图像、视频、文本和音频任务中表现出高效性。深度度量学习研究包括信息输入样本、网络模型结构和度量损失函数。未来研究方向包括优化采样策略、共享权重和度量损失函数的组合。虽然研究已取得进展，但仍有许多方面有待探索，如现有方法的缺点和局部特征与全局特征的结合。

参考资料：《 Deep Metric Learning: A Survey》