COSeg：解决小样本点云语义分割, 使用Transform实现相关性语义分割
COSeg：解决小样本点云语义分割, 使用Transform实现相关性语义分割
3D点云语义分割是计算机视觉领域的重要研究方向，广泛应用于自动驾驶、机器人导航等领域。然而，传统的3D点云分割方法往往需要大量标注数据，而少样本学习（Few-Shot Learning）则提供了一种有效解决数据标注成本高、数据量不足等问题的途径。本文提出了一种新的少样本3D点云语义分割方法COSeg，通过相关优化和超相关增强等技术，有效解决了现有方法中存在的前景泄漏和稀疏点分布等问题。
问题定义
深度神经网络的快速进展推动了对各种应用中3D点云理解的探索。与图像不同，点云固有地捕捉到复杂的物体结构，从而实现细粒度分析。为了减少创建数据集所需的大量人工工作，少样本点云语义分割（FS-PCS）成为一项关键任务，使3D分割模型能够在少量注释样本的情况下推广到新类别。
然而，我们发现当前FS-PCS设置中存在两个重要问题：
前景泄漏：常见的3D分割实践是从场景中随机采样点，但FS-PCS中的采样过程是非均匀的，更偏向于前景点。这导致前景泄漏，即前景类的显著密度偏差。此前的模型利用密度差异进行更轻松的分割，回避了学习新类别的必要知识适应模式。结果，当前的基准无法反映先前模型的真实性能。
稀疏点分布：由于标签传播模块的巨大计算负担，当前设置在训练和推理过程中仅采样2,048个点。这种稀疏的输入分布限制了模型可用的语义信息，阻碍了其识别能力的有效提升。此外，这种输入偏离了现实场景，降低了该领域研究进展的整体价值。
方法创新
与传统的特征优化方法不同，我们提出的COSeg模型建立在相关优化范式之上，利用类别特定的多原型相关（CMC），允许直接优化每个查询点和类别原型之间的关系。图3展示了COSeg的流程。在接下来的部分中，我们在1-way 1-shot设置下介绍我们的模型。
相关优化分割（COSeg）模型
超相关增强 (HCA)
我们提出的类别特定的多原型相关（CMC）表示每个查询点与所有类别原型的相关性。为了增强这些相关性，我们引入了超相关增强（HCA）模块，利用两种基本关系。首先，查询点相互关联且依赖。它们与所有原型的相关性也是相互连接的，形成点-点关系。其次，将单个点分类为前景或背景取决于它与前景或背景原型的相对相关性，形成前景-背景关系。对于N-way设置，这扩展为前景-背景关系，考虑到所有类别之间的相对相关性。提出的HCA通过利用点-点和前景-背景关系来优化相关性。
(1)线性注意力
由于3D点云的不规则性质，具有排列不变性属性的注意力机制非常适合于点云处理。我们采用线性注意力，因为它具有全局感受野和卓越的线性计算效率。
(2)MLP增强：
(3)前景-背景关系：
(4)元学习性能：
通过HCA模块，模型不仅能在空间维度上增强交互，还能在类别空间中进行交互，从而显著提高元学习性能。
基础原型校准（Base Prototypes Calibration）
实验验证
我们在经过合理设置的基准上系统地评估现有方法，并在S3DIS和ScanNet数据集上比较COSeg和其他方法。我们的实验不仅揭示了先前任务设置的不利影响，还突出显示了我们方法的出色性能。通过大量消融研究，我们进一步深入了解了我们设计的有效性，并展示了CMC范式在FS-PCS中的卓越能力，为未来的研究提供了新思路。
结论
总结而言，本文的贡献包括：
- 我们识别了当前FS-PCS设置中的两个重要问题：前景泄漏和稀疏点分布，并通过引入严格的设置和新基准进行了标准化。
- 我们提出了一种新颖的相关优化范式，基于特定类别的多原型相关（CMC），使用超相关增强（HCA）模块来直接塑造查询点的类别关系。
- 我们通过引入非参数基类原型和基类原型校准（BPC）模块来解决元学习中的基类易感性问题，以校准背景类的相关性。