论文研读｜针对文生图模型的AIGC检测

论文研读｜针对文生图模型的AIGC检测

引用

CSDN

1.

https://blog.csdn.net/qq_36332660/article/details/138415768

前言：人工智能生成内容的鉴别（AIGC检测）是当前的研究热点之一，本文介绍几篇针对文生图模型的 AIGC 检测相关工作。

1. Towards Universal Fake Image Detectors that Generalize Across Generative Models（CVPR 2023）

作者：Utkarsh Ojha等，美国威斯康星大学麦迪逊分校

代码链接：https://github.com/Yuheng-Li/UniversalFakeDetect

核心思想：研究者发现基于GAN生成数据训练的分类器只能记住 GAN 生成的 fake image，其他的全部归类为 real image，包括扩散模型生成的图像。这就导致决策边界发生偏离。因此，之前基于GAN数据训练分类器的检测方法无法有效检测扩散模型生成的图像。

研究者提出基于预训练模型特征提取的方法来进行real/fake的检测，首先通过预训练模型提取出待检测图像特征，然后采用两种方法进行检测：

1. 基于相似度衡量（K近邻）的检测：通过比较待检测图像特征分别与真实图像特征和虚假图像特征的距离，检测图像的真实性。

2. 基于分类器的检测：将提取出的特征送入轻量级分类器训练，得到预测标签。

为了保证图像特征提取的质量，选择 CLIP-ViT，是由于其训练数据足够庞大（400M），因此表征空间足够大。（实验证明该提取器的特征提取效果最好）

2. DIRE for Diffusion-Generated Image Detection（ICCV 2023）

作者：Zhendong Wang等，中国科学技术大学

代码链接：https://github.com/ZhendongWang6/DIRE

核心思想：研究者发现生成图像重建前后的距离比真实图像重建前后的距离要小。

基于上述观察，研究者提出基于DDIM 重建误差的检测方法。

注意：通过DIRE得到重建结果之后，把DIRE作为输入，训练一个简单的二分类器，通过交叉熵损失约束。

3. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error（CVPR, 2024）

作者：Jonas Ricker等，德国波鸿鲁尔大学

代码链接：https://github.com/jonasricker/aeroblade

核心思想：与上一个工作相似，不过这篇文章针对 Latent Diffusion Model，使用 AutoEncoder 重建损失进行鉴别。先来直观感受下真实图像和SD生成图像分别在使用AutoEncoder重建前后的误差：

重建损失就是重建前后的距离，Δ A E i \Delta_{AE_{i}}ΔAEi 表示使用第i ii个 AutoEncoder 重建前后的图像距离。（因为这是真伪检测任务，所以要使用尽可能多的 AutoEncoder 覆盖尽可能多的生成模型）。

然后在众多的Δ A E i \Delta_{AE_{i}}ΔAEi 中，挑选出一个最小的距离，作为判别根据。

这个方法中，距离函数的选择十分重要。这篇文章使用 LPIPS 作为距离的衡量标准。

4. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images（NeurIPS, 2023）

作者：Zeyu Lu等，上海交通大学

代码链接：https://github.com/Inf-imagine/Sentry

核心思想：眼见不一定为实，这篇文章的主要贡献是提出了一个AIGC图像检测的 Benchmark 数据集 Fake2M，并在文中分别对人工检测和模型检测两类AIGC检测方法进行了评估。评估结果表明 AIGC 检测仍然任重道远啊……

总结

本文介绍的这几种针对文生图模型生成图像的检测方法，或是借助强大的预训练特征提取器进行二分类，或是从生成模型的内在机制出发，将重建损失作为判别标准进行检测。本质上来讲，这些方法都利用了距离信息作为衡量依据，不论是第一篇工作中的K近邻，还是待检测图像本身的重建误差，都在向我们传达一个信息，那就是，纵然生成模型生成的内容再逼真，也总会留下一些可以认定其为虚假的痕迹，等着我们去探索，去发现。

参考文献

1. Towards Universal Fake Image Detectors that Generalize Across Generative Models. CVPR 2023.

2. DIRE for Diffusion-Generated Image Detection. ICCV 2023.

3. LaRE^2: Latent Reconstruction Error Based Method for Diffusion-Generated Image Detection. CVPR, 2024.

4. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error. CVPR, 2024.

5. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images. NeurIPS, 2023.