Nature Methods | 多模态细胞精准分割！

创作时间:

作者:

@小白创作中心

Nature Methods | 多模态细胞精准分割！

引用

CSDN

https://blog.csdn.net/Python_cocola/article/details/143374104

细胞分割是显微镜图像分析中的关键步骤，但现有方法往往需要针对特定模态进行手动调整。最近，研究人员在NeurIPS会议上组织了一次全球细胞分割挑战赛，旨在开发一个能够处理多种显微镜图像且无需手动参数调整的通用算法。

细胞分割是显微镜图像中进行定量单细胞分析的关键步骤。现有的细胞分割方法通常针对特定模态或需要手动干预来指定不同实验设置中的超参数。在这里，研究人员提出了一个多模态细胞分割基准，包括来自50多个不同生物实验的1,500多个标记图像。排名靠前的参与者开发了一种基于Transformer的深度学习算法，不仅超越了现有方法，而且可以应用于不同成像平台和组织类型的多样显微镜图像，无需手动参数调整。这一基准和改进的算法为显微镜成像中更准确和多功能的细胞分析提供了有希望的途径。

研究背景

细胞分割是生物图像分析中普遍需要的基本任务，在许多不同的实验设置和成像模式下都需要进行。例如，在基于多重荧光图像的癌症微环境分析中，细胞分割是识别肿瘤亚型、组成和组织的先决条件，这可以带来重要的生物学见解。然而，由于显微镜图像中观察到的广泛多样性，开发通用和自动的细胞分割技术仍然面临重大挑战。这种多样性源于细胞来源、显微镜类型、染色技术和细胞形态的变化。

最近的进展成功地证明了针对特定显微镜图像类型和细胞类型进行自动和精确的细胞分割的可行性，例如荧光和质谱图像、差分干涉对比图像、细菌图像和酵母图像，但是对于传统生物学实验室中非专家用户来说，选择合适的分割模型仍然是一项非常困难的任务。

已经努力开发了通用细胞分割算法；然而，这些算法主要是使用由灰度图像和双通道荧光图像组成的数据集进行训练的，缺乏足够的多样性以确保在广泛的成像模式下具有健壮的泛化能力。例如，分割模型在处理RGB图像时面临困难，比如使用Jenner-Giemsa染色的骨髓抽吸幻灯片。此外，这些模型通常需要手动选择模型类型和要分割的特定图像通道，对计算能力有限的生物学家构成挑战。

除了直接使用大规模标记数据集训练通用细胞分割模型之外，基于迁移学习的算法是通用解决方案的一种补充分支，允许生物学家快速在自己的显微镜图像上训练定制模型。一个典型例子是Cellpose 2.0，它展示了将预训练模型调整到新图像的有效性。值得注意的是，它只需要500-1,000个用户注释的图像块就能达到与使用数千个图像块训练的模型相当的性能。

生物医学图像数据科学竞赛已经成为加速先进算法开发的有效途径。已经专门为显微镜图像分析组织了几次成功的竞赛，例如细胞追踪挑战（CTC）、数据科学碗（DSB）挑战和结肠核仁识别和计数（CoNIC）挑战。这些竞赛在加速现代机器学习和深度学习算法在生物医学图像分析中的应用方面发挥了关键作用；然而，值得注意的是，这些挑战主要集中在有限的显微镜图像类型上。例如，CTC主要集中在无标记图像上，因此排除了多重免疫荧光图像等染色图像。类似地，DSB挑战强调了在荧光和组织学图像中的细胞核分割，而忽略了相差显微镜（PC）和差分干涉对比（DIC）图像。CoNIC挑战中的分割任务也仅限于在血液和苏木精-伊红染色图像中的细胞核分割。因此，通过这些竞赛开发的算法通常只适用于处理特定类型的显微镜图像，限制了它们的泛化能力。此外，这些挑战中使用的评估指标主要重视分割准确性，而忽视了算法效率。因此，追求更高的准确性评分往往会导致采用计算密集型的方法。例如，CTC表现最佳的算法使用了针对细胞分割任务中每个数据集的定制模型，而DSB获胜算法使用了32个模型的集合。这种资源密集型的策略阻碍了这些算法在生物实践中的广泛应用。

挑战赛的组织和数据集

为了克服上述限制并促进显微镜图像通用和高效的细胞分割方法的发展，作者倡议在神经信息处理系统（NeurIPS）会议上组织了一次全球挑战。作为人工智能领域最大的国际会议之一，NeurIPS为此举提供了一个理想的平台。挑战参与者获得了一个多样化的训练集和一个单独的调整集，以开发和完善他们的细胞分割算法。在测试阶段，参与者需要将他们的算法打包成Docker容器，使挑战组织者能够在相同的计算平台上仔细策划的保留测试集上对其进行评估。值得注意的是，保留测试集包含了来自新生物实验的图像，旨在评估算法对以前未见数据的有效泛化能力。此外，测试集还包括两个全切片图像（WSIs），作为评估算法适用于处理大规模图像的手段。与现有挑战集中在特定显微镜图像类型的挑战不同，这一举措代表了细胞分割算法首次被挑战以有效处理广泛的显微镜图像谱，并且不需要手动干预即可泛化到新图像。

图1 | 挑战任务和流程概述。a，挑战旨在促进开发通用细胞分割算法，这些算法可以在不需要手动干预的情况下分割各种显微镜图像。b，挑战包含两个阶段。在开发阶段，参与者基于1,000张标记图像和1,725张未标记图像开发自动分割算法。算法可以在包含101张图像的调整集上进行评估，并且在线评估平台会自动返回定量性能。在测试阶段，每个团队可以通过Docker容器提交一个算法作为最终解决方案，该算法将在包含422张图像的保留测试集上进行独立评估，以获得排名结果。

图2 | 数据集概述。a，挑战提供了一个多样化的显微镜图像数据集，包括组织细胞、培养细胞、无标记细胞、染色细胞和不同类型的显微镜（明场、荧光、相差显微和差分干涉对比）。b，数据来源和挑战参与者的地理分布。红色、绿色、紫色和蓝色地址图标分别表示明场、荧光、相差显微和差分干涉对比图像数据集来自的国家或地区。每个国家中粉色圆圈的大小与该国家中参与者的数量成比例。c，训练集中图像的数量。d，训练集中标记细胞的数量。e，训练集（第一行）和测试集（第二行）中随机选择的示例（从左到右依次为明场、荧光、相差显微和差分干涉对比图像）。f，测试集中图像的数量。g，测试集中细胞的数量。测试集中包含两个荧光全切片图像。

主要成果和技术细节

表1展示了前三名表现最佳算法的特征在预处理、数据增强、网络架构和后处理方面的特点。

Fig. 3展示了28种算法在保留测试集上的评估结果。a图显示了测试集上（n=422个独立图像）F1分数的点图和箱线图。箱线图显示了所有测试案例的描述性统计数据，其中水平线表示箱子内的中位数值，下四分位数和上四分位数界定了箱子的边界，垂直黑线表示1.5×IQR。b图显示了排名靠前的算法在分割准确性（y轴）和效率（x轴）之间取得了良好的平衡。圆圈大小与GPU内存消耗成正比。c图显示了成对显著性检验结果（单侧Wilcoxon符号秩检验），表明获胜算法显著优于其他算法。d图展示了基于自举抽样的可视化排名稳定性的Blob图。每个Blob的中位面积与在1000次自举样本中获得的排名相对频率成正比。每个算法的中位排名由黑色十字表示。自举样本间的95%自举区间由黑线表示。e图显示了获胜算法在五种不同的排名方案中均保持第一名。f图显示了高Kendall’s tau分数表明排名结果稳定。小提琴图显示了描述性统计数据，其中水平实线表示箱子内的中位数值，水平虚线表示平均值，下四分位数和上四分位数界定了箱子的边界，垂直黑线表示1.5×IQR。