高质量数据算法MetaCLIP，将视觉识别精度提升至82.1%

高质量数据算法MetaCLIP，将视觉识别精度提升至82.1%

自2021年诞生以来，CLIP已经在计算机视觉识别系统和生成模型上取得了广泛的应用和巨大的成功。然而，关于CLIP成功的背后原因，一直存在诸多猜测。Meta公司联合纽约大学和华盛顿大学的最新研究揭示了CLIP成功的关键因素：高质量的数据。这项名为MetaCLIP的研究通过严格的消融实验，揭示了数据、模型和训练之间的关系，并提出了一个可扩展到整个CommonCrawl的数据算法，为开源社区带来了元数据导向的CLIP预训练方法。

论文信息

论文标题：
Demystifying CLIP Data

论文链接：
https://arxiv.org/abs/2309.16671

代码链接：
https://github.com/facebookresearch/MetaCLIP

MetaCLIP数据质量

MetaCLIP根据CLIP原文对数据处理的描述，提出可扩展到整个CommonCrawl上的数据算法。该算法接受原始互联网数据分布，产生在元数据上平衡的高质量训练数据分布。

MetaCLIP产生的数据质量源自两个部分：

1. 通过元数据字符串匹配来抓取高质量人类监督文本；
2. 通过平衡数据在元数据上的分布来最大限度保留长尾数据的信号、弱化噪声以及头部分布的冗余信息。

MetaCLIP的元数据来自50万个WordNet和维基百科的视觉概念（visual concept），它们使被匹配的alt文本包含超越人类平均认知水平的监督质量（superhuman level supervision）。

我们的实验严格遵循CLIP设定来控制研究数据分布对结果的影响。整个数据提取，训练无需已训练CLIP来过滤数据以及潜在未知的来自OpenAI CLIP的数据偏见。

相反的是，MetaCLIP数据算法同时输出训练数据分布。这使得训练数据更加透明，以方便调试模型。MetaCLIP在400M训练数据上达到ViT-B 70.8%的零样本ImageNet分类精度；使用1B训练数据上达到72.4%；在2.5B训练数据上使用ViT-bigG模型达到82.1%，而整个模型和训练参数并未进行任何更改（比如学习率或批样本量）。

消融实验表明：字符串匹配（MetaCLIP w/o bal. （400M)）和平衡分布（MetaCLIP（400M））对MetaCLIP的数据质量产生重大贡献。

CLIP数据算法介绍

本文正式提出CLIP数据算法，来简化和产生高质量的训练数据。

该方法大致分为：创建元数据，提出数据算法，提高数据质量及输出训练数据等四个步骤。

具体方法见下：

1. 实现了CLIP数据的相关描述，包括如何创建元数据；
2. 提出如下数据算法：第一部分为元数据字符串匹配，第二部分为平衡数据分布。该算法简洁可扩展，本文已证明可在所有CommonCrawl 300+B级图片样本并行运行；
3. 可植入已有数据流水线或者数据加载器（data loader）来提高数据质量；
4. 输出训练数据在元数据上的训练分布使得训练数据更透明。

该算法的Python代码如下：

MetaCLIP的元数据来自WordNet和Wikipedia的高质量视觉概念（visual concept）。我们根据CLIP原文描述实现了从维基百科提取uni/bi-gram以及高频标题的过程。

相关选取的超参数如下：

MetaCLIP算法简洁，可以将两部分分开植入已有的数据流水线。如下图所示，该算法可以在数据流水线的早期进行植入，来减小数据规模和对计算资源存储的开销：

• 第一部分（元数据字符串匹配）能减少50%的数据量；
• 第二部分（平衡数据分布）能减少77%的数据量。

算法可轻松接入已有数据流水线，降低处理低质量数据的开销

下图展示了平衡数据分布的效果：横坐标将元数据里每个视觉概念的匹配数量从低到高排列，纵坐标累计匹配。表格中展示了不同频率区段视觉概念的匹配数量：

平衡数据分布使得1.6B的原始数据被下采样成400M的训练数据

我们可以看到MetaCLIP数据算法对头部分布进行了高度下采样，这将降低头部分布的冗余无效信息和头部数据的噪声（比如untitled photo），所有长尾分布的视觉概念全部保留。

实验结果

我们设计了两个数据池来运行数据算法。

• 第一个池的目标是获得400M训练数据来和CLIP进行比较；
• 第二个池的目标是所有CommonCrawl数据。

我们进一步对第二个数据池运行了两次数据算法，一次设定头尾分布的阈值（t=20k）与400M一致（最终获得1B数据），一次设定尾部分布的比例与400M尾部的比例一致（t=170k，最终获得2.5B数据）。

MetaCLIP在DataComp的38个任务上的实验结果如下：

我们可以看到MetaCLIP在400M上略好于OpenAI CLIP或者OpenCLIP。在第二个池上性能进一步超越400M。更多的数据在更大的模型ViT-bigG上产生更好的效果。而这些性能的提升完全来自数据而非模型结构改进或者训练技巧本身。

在CLIP/SLIP每个分类任务上的详细实验结果请参考原文。

实验结论

本文提出了CLIP的数据算法来产生高质量训练数据：算法可在所有CommonCrawl的300+B级图片样本对上并行运行。

实验表明元数据字符串匹配和平衡分布都对结果有重大贡献，算法无需使用CLIP模型过滤或者提高训练开销来提升性能，并且使得训练数据分布更加透明。