AIGC检测技术综述：文生图模型生成图像的四大检测方法

AIGC检测技术综述：文生图模型生成图像的四大检测方法

引用

CSDN

1.

https://blog.csdn.net/qq_36332660/article/details/138415768

随着人工智能生成内容（AIGC）技术的快速发展，如何准确检测AI生成的图像已成为一个重要的研究课题。本文综述了近年来在文生图模型生成图像检测领域的几项重要研究工作，涵盖了基于预训练模型特征提取、重建误差分析等多种检测方法。这些研究不仅展示了当前AIGC检测技术的最新进展，也为未来的研究方向提供了重要参考。

1. Towards Universal Fake Image Detectors that Generalize Across Generative Models（CVPR 2023）

作者：Utkarsh Ojha等，美国威斯康星大学麦迪逊分校
代码链接：https://github.com/Yuheng-Li/UniversalFakeDetect

核心思想：研究者发现基于GAN生成数据训练的分类器只能记住 GAN 生成的 fake image，其他的全部归类为 real image，包括扩散模型生成的图像。因此，之前基于GAN数据训练分类器的检测方法无法有效检测扩散模型生成的图像。

基于上述发现，作者提出基于预训练模型特征提取的方法来进行real/fake的检测，首先通过预训练模型提取出待检测图像特征，然后：

1. 基于相似度衡量（K近邻）的检测：通过比较待检测图像特征分别与真实图像特征和虚假图像特征的距离，检测图像的真实性。
2. 基于分类器的检测：将提取出的特征送入轻量级分类器训练，得到预测标签。

为了保证图像特征提取的质量，选择 CLIP-ViT，是由于其训练数据足够庞大（400M），因此表征空间足够大。（实验证明该提取器的特征提取效果最好）

个人评价：做得快，正值风口，瞄准检测方法的通用性和泛化性，方法其实很简单。

2. DIRE for Diffusion-Generated Image Detection（ICCV 2023）

作者：Zhendong Wang等，中国科学技术大学
代码链接：https://github.com/ZhendongWang6/DIRE

核心思想：研究者发现生成图像重建前后的距离比真实图像重建前后的距离要小。

基于上述观察，作者提出基于DDIM 重建误差的检测方法。

注意：通过DIRE得到重建结果之后，把DIRE作为输入，训练一个简单的二分类器，通过交叉熵损失约束。

个人评价：基于重建损失的检测手段，在GAN时期已经出现，这篇文章把它运用到扩散模型上取得了同样的效果。另一篇工作LaRE^2 (CVPR 2024)是对DIRE的改进。

3. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error（CVPR, 2024）

作者：Jonas Ricker等，德国波鸿鲁尔大学
代码链接：https://github.com/jonasricker/aeroblade

核心思想：与上一个工作相似，不过这篇文章针对 Latent Diffusion Model，使用 AutoEncoder 重建损失进行鉴别。先来直观感受下真实图像和SD生成图像分别在使用AutoEncoder重建前后的误差：

重建损失就是重建前后的距离，Δ A E i \Delta_{AE_{i}}ΔAEi 表示使用第i ii个 AutoEncoder 重建前后的图像距离。（因为这是真伪检测任务，所以要使用尽可能多的 AutoEncoder 覆盖尽可能多的生成模型）。

然后在众多的Δ A E i \Delta_{AE_{i}}ΔAEi 中，挑选出一个最小的距离，作为判别根据。

这个方法中，距离函数的选择十分重要。这篇文章使用 LPIPS 作为距离的衡量标准。

个人评价：这篇文章和DIRE不同点就在于，把DIRE的后续分类器步骤拿掉，变成 training-free 了，这样一来就提高了检测方法的可扩展性，不需要每次有新的模型进来都重训一遍。注意这篇文章的检测模型仅限于在图像生成阶段使用 AutoEncoder 的生成模型，判定阈值的选取也十分重要。

4. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images（NeurIPS, 2023）

作者：Zeyu Lu等，上海交通大学
代码链接：https://github.com/Inf-imagine/Sentry

核心思想：眼见不一定为实，这篇文章的主要贡献是提出了一个AIGC图像检测的 Benchmark 数据集 Fake2M，并在文中分别对人工检测和模型检测两类AIGC检测方法进行了评估。评估结果表明 AIGC 检测仍然任重道远啊……

后记：本文介绍的这几种针对文生图模型生成图像的检测方法，或是借助强大的预训练特征提取器进行二分类，或是从生成模型的内在机制出发，将重建损失作为判别标准进行检测。本质上来讲，这些方法都利用了距离信息作为衡量依据，不论是第一篇工作中的K近邻，还是待检测图像本身的重建误差，都在向我们传达一个信息，那就是，纵然生成模型生成的内容再逼真，也总会留下一些可以认定其为虚假的痕迹，等着我们去探索，去发现。

参考文献

1. Towards Universal Fake Image Detectors that Generalize Across Generative Models. CVPR 2023.
2. DIRE for Diffusion-Generated Image Detection. ICCV 2023.
3. LaRE^2: Latent Reconstruction Error Based Method for Diffusion-Generated Image Detection. CVPR, 2024.
4. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error. CVPR, 2024.
5. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images. NeurIPS, 2023.