哈工大&南洋理工：多模态DeepFake检测新突破！

哈工大&南洋理工：多模态DeepFake检测新突破！

引用

CSDN

等

9

来源

1.

https://blog.csdn.net/zly_Always_be/article/details/142494115

2.

https://www.secrss.com/articles/69731

3.

https://blog.csdn.net/wlfyok/article/details/128521171

4.

https://crad.ict.ac.cn/article/doi/10.7544/issn1000-1239.202111119

5.

http://www.sicris.cn/CN/abstract/abstract823.shtml

6.

https://crad.ict.ac.cn/cn/article/doi/10.7544/issn1000-1239.2021.20200804

7.

http://www.cqvip.com/qk/72202x/202009/7102738945.html

8.

https://www.cnblogs.com/cy-8516/p/18032921#%E5%9F%BA%E4%BA%8Eclip%E7%9A%84%E7%B2%97%E7%B2%92%E5%BA%A6%E8%9E%8D%E5%90%88%E5%92%8C%E5%A4%9A%E6%A8%A1%E6%80%81%E8%A1%A8%E7%A4%BA%E7%94%9F%E6%88%90

9.

https://www.cnblogs.com/cy-8516/p/18032921

近年来，随着深度学习技术的快速发展，多模态信息伪造技术也日益成熟，给社会带来了前所未有的挑战。2018年，Deepfakes技术在社交网络上掀起换脸热潮，随后大量深度伪造方法被提出，不仅展现了其在教育、娱乐等领域的潜在应用，也引发了对社会舆论、司法刑侦等方面负面影响的担忧。

现有多模态伪造检测的局限性

目前，深度伪造检测技术主要分为单模态和多模态两大类。单模态检测方法主要针对图像或文本进行真实性判断，如Face X-ray、F3-Net等基于空间域和频域特征的图像检测算法。然而，这些方法存在明显的局限性：

1. 单模态检测的局限性：现有的深度伪造检测方法主要基于空间域和频域特征，如Face X-ray、F3-Net等，但这些方法仅能进行二分类检测，无法定位伪造内容。

2. 多模态虚假信息检测的挑战：已有一些研究关注多模态虚假信息的检测，但这些方法通常只进行简单的二分类，无法检测和定位具体的伪造内容。例如，一些方法处理小规模人工生成的多模态虚假新闻，而另一些方法处理图像和文本不匹配的情况。

3. 数据集的缺乏：现有的虚假信息数据集主要针对单模态伪造（如图像或文本），缺乏大规模的多模态伪造数据集。

哈工大&南洋理工的创新突破

针对上述挑战，哈尔滨工业大学（深圳）和南洋理工大学的研究人员提出了全球首个「多模态DeepFake检测定位」模型，该研究在CVPR 2023上被收录，为应对日益复杂的多模态假新闻提供了有力工具。

DGM4数据集：大规模多模态伪造数据集

研究团队构建了首个DGM4（Detection and Grounding of Manipulations in Multimodal Media）数据集，其中包含大量通过多种伪造方法生成的图像-文本对，并提供了丰富的伪造类型标注。这个数据集的发布填补了多模态伪造检测领域缺乏大规模数据集的空白。

HAMMER模型：分层跨模态推理

研究团队提出了HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)模型，通过浅层和深层的跨模态推理来捕获图像和文本之间的细粒度交互。HAMMER++进一步引入了局部视图的对比学习，以增强跨模态语义对齐。

未来展望

尽管哈工大和南洋理工大学的研究取得了重要突破，但多模态信息伪造检测仍面临诸多挑战：

1. 更细粒度的伪造检测：如何检测和定位更细微的伪造痕迹，尤其是小尺寸人脸和少数文本标记的伪造。

2. 跨模态语义对齐：探索更有效的跨模态语义对齐方法，以捕获图像和文本之间的语义不一致性。

3. 数据集的扩展：构建更大规模、更多样化的多模态伪造数据集，以支持更广泛的研究和应用。

多模态信息伪造检测是一个复杂且具有挑战性的研究领域。现有的研究主要集中在单模态伪造检测上，而多模态伪造检测的研究仍处于起步阶段。通过提出新的研究问题、构建大规模数据集和设计先进的模型，未来的研究有望在多模态伪造检测与定位方面取得更大进展，从而有效应对互联网上的虚假信息传播。