哈工大&北大联手揭秘：多模态信息伪造背后的科学原理

哈工大&北大联手揭秘：多模态信息伪造背后的科学原理

引用

CSDN

等

12

来源

1.

https://blog.csdn.net/qq_43687860/article/details/130708767

2.

https://36kr.com/p/3007682234689028

3.

https://zhuanlan.zhihu.com/p/620803388

4.

https://blog.csdn.net/moxibingdao/article/details/142871860

5.

https://www.sohu.com/a/816072179_121123740

6.

https://new.qq.com/rain/a/20230410A0583V00

7.

https://www.pconline.com.cn/focus/1829/18294850.html

8.

https://hub.baai.ac.cn/view/25365

9.

https://cloud.tencent.com/developer/article/2261430

10.

https://www.ccf.org.cn/YOCSEF/Branches/Shenzhen/News/lt/2024-11-09/834094.shtml

11.

https://ai-bot.cn/fakeshield/

12.

https://www.bilibili.com/video/BV1rh4y1p7ak/

随着人工智能技术的飞速发展，深度伪造（DeepFake）和虚假信息的生成变得越来越容易，对社会安全和信息真实性构成了严重威胁。为了应对这一挑战，哈尔滨工业大学和北京大学分别提出了创新性的多模态信息伪造检测技术，为打击虚假信息传播提供了新的解决方案。

哈尔滨工业大学（深圳）与南洋理工大学合作，提出了全球首个「多模态DeepFake检测定位」模型（DGM4）。这一研究针对当前多模态假新闻检测的局限性，创新性地提出了检测并定位多模态媒体篡改的新任务。

创新点：

1. 新任务定义：不仅判断多模态媒体的真实性，还需定位图像篡改框（BBox）和文本篡改词（Token）。
2. 大规模数据集：构建了包含23万张图像-文本对的DGM4数据集，涵盖4种篡改类型（人脸替换FS/属性篡改FA、文本替换TS/属性篡改TA）。
3. 分层推理模型：提出了多模态层次化篡改推理模型（HAMMER），通过浅层对比学习和深层交叉注意力机制，实现细粒度的跨模态语义融合。

技术细节：

• 浅层篡改推理：通过篡改感知的对比学习对齐图像和文本特征，利用局部块注意力聚合机制定位图像篡改区域。
• 深层篡改推理：通过模态感知交叉注意力机制进行深度语义推理，实现更精准的篡改检测和定位。

这一研究已发表在计算机视觉顶级会议CVPR 2023上，展示了其在学术界的影响力。

北京大学与华南理工大学的研究团队则从另一个角度突破，提出了基于多模态大语言模型的可解释图像篡改检测定位框架（FakeShield）。

创新点：

1. 可解释性：不仅能检测图像真实性，还能提供基于像素和图像语义错误的合理解释。
2. 多模态数据集：构建了多模态篡改描述数据集（MMTD-Set），通过GPT-4o生成「图像-掩膜-描述」三元组。
3. 模块化设计：包括域标签引导的可解释伪造检测模块（DTE-FDM）和多模态伪造定位模块（MFLM）两个关键部分。

技术细节：

• DTE-FDM模块：利用数据域标签（domain tag）弥合不同伪造类型数据之间的数据域冲突，引导多模态大语言模型生成检测结果及判定依据。
• MFLM模块：使用DTE-FDM输出的篡改区域描述作为视觉分割模型的Prompt，实现精准定位。

这一研究发表在arxiv预印本上，展示了其在图像篡改检测领域的最新进展。

哈工大和北京大学的研究各有侧重：

• 哈工大的DGM4更侧重于多模态信息的联合检测与定位，通过大规模数据集和分层推理模型实现细粒度的篡改分析。
• 北大的FakeShield则更注重检测结果的可解释性，通过多模态大语言模型提供详细的篡改分析和定位。

两种方法都为多模态信息伪造检测提供了新的思路和解决方案。未来，随着AIGC技术的不断发展，多模态信息伪造检测将面临更多挑战，但同时也将迎来更多创新机遇。这些研究为构建更安全、更可信的信息环境提供了重要技术支持。