资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

人工智能水印技术入门：工具与技巧

创作时间:

作者:

@小白创作中心

人工智能水印技术入门：工具与技巧

引用

来源

https://www.cnblogs.com/huggingface/p/18042010

随着AI技术的快速发展，深度伪造（deepfakes）和AI生成内容的滥用问题日益严重。从泰勒·斯威夫特的图片到汤姆·汉克斯的视频，再到美国总统乔·拜登的录音，这些深度伪造内容被用于各种目的，如销售产品、未经授权操纵人物形象、钓鱼获取私人信息，甚至制作误导选民的虚假资料。为了应对这一挑战，AI生成内容的水印技术应运而生。本文将介绍AI生成内容加水印的方法，讨论其优缺点，并展示Hugging Face Hub上一些可用于添加/检测水印的工具。

什么是水印，它是如何工作的？

水印是一种标记内容以传递额外信息（如内容的真实性）的方法。在AI生成的内容中，水印既可以是完全可见的（如图1所示），也可以是完全不可见的（如图2所示）。具体来说，在AI领域，水印指的是在数字内容（例如图片）中加入特定模式，用以标示内容的来源；这些模式之后可以被人类或通过算法识别。

AI生成内容的水印主要有两种方法：第一种是在内容创作过程中加入，这需要访问模型本身，但因为它是生成过程的一部分，所以更为稳固。第二种方法是在内容生成后应用，可以用于闭源和专有模型生成的内容，但可能不适用于所有类型的内容（如文本）。

数据投毒与签名技术

除了水印，还有几种相关技术可以限制未经同意的图像操纵。有些技术通过微妙地改变在线分享的图像来防止AI算法正确处理这些图像。尽管人类可以正常查看这些图像，但AI算法则无法访问类似内容，从而无法创建新图像。这类技术包括Glaze和Photoguard。还有一些工具通过“投毒”图像来破坏AI算法训练中的固有假设，使得AI系统无法根据在线分享的图像学习人们的外貌——这让这些系统更难以生成假人物图像。这类工具包括Nightshade和Fawkes。

通过使用“签名”技术，也可以维护内容的真实性和可靠性，这些技术将内容与其来源的元数据链接起来，如Truepic的工作，它嵌入了遵循C2PA标准的元数据。图像签名有助于了解图像的来源。虽然元数据可以被编辑，但像Truepic这样的系统通过1)提供认证以确保可以验证元数据的有效性；以及2)与水印技术整合，使得删除信息更加困难，来克服这一限制。

开放与封闭的水印

为公众提供对水印器和检测器不同级别的访问权有其优点和缺点。开放性有助于促进创新，开发者可以在关键思想上进行迭代，创造出越来越好的系统。然而，这需要与防止恶意使用进行权衡。如果AI流程中的开放代码调用了水印器，去除水印步骤变得很简单。即使水印部分是封闭的，如果水印已知且水印代码开放，恶意行为者可能会阅读代码找到方法编辑生成的内容，使水印失效。如果还可以访问检测器，就可能继续编辑合成内容，直到检测器显示低置信度，从而无效化水印。存在一些直接解决这些问题的混合开放-封闭方法。例如，Truepic的水印代码是封闭的，但他们提供了一个可以验证内容凭证的公共JavaScript库。IMATAG的调用水印器代码是开放的，但实际的水印器和检测器是私有的。

对不同数据类型进行水印

虽然水印是跨多种模态（音频、图像、文本等）的重要工具，但每种模态都带来其独特的挑战和考量。水印的意图也不尽相同，无论是为了防止训练数据被用于训练模型、防止内容被操纵、标记模型的输出，还是检测AI生成的数据。在本节中，我们将探讨不同的数据模态、它们在水印方面的挑战，以及Hugging Face Hub上存在的用于实施不同类型水印的开源工具。

图像水印

可能最为人熟知的水印类型（无论是人类创作还是AI生成的内容）是对图像的水印。已经提出了不同的方法来标记训练数据，以影响基于它训练的模型的输出：这种“图像隐身”方法最著名的是“Nightshade”，它对图像进行微小的修改，这些修改对人眼来说几乎不可察觉，但会影响基于被污染数据训练的模型的质量。Hub上也有类似的图像隐身工具——例如，由开发Nightshade的相同实验室开发的Fawkes，专门针对人物图像，目的是阻挠面部识别系统。同样，还有Photoguard，旨在保护图像不被用于生成AI工具（例如，基于它们创建深度伪造）的操纵。

关于水印输出图像，Hub上提供了两种互补的方法：IMATAG（见图2），它通过利用修改过的流行模型（如Stable Diffusion XL Turbo）在内容生成过程中实施水印；以及Truepic，它在图像生成后添加不可见的内容凭证。

TruePic还将C2PA内容凭证嵌入图像中，允许在图像本身中存储有关图像来源和生成的元数据。IMATAG和TruePic Spaces还允许检测由它们系统水印的图像。这两种检测工具都是方法特定的。Hub上已有一个现有的通用深度伪造检测的Space应用，但根据我们的经验，这些解决方案的性能取决于图像的质量和使用的模型。

文本水印

虽然给AI生成的图像加水印似乎更直观——考虑到这种内容的强烈视觉特性——但文本是另一个完全不同的故事……你如何在文字和数字（令牌）中添加水印呢？当前的水印方法依赖于基于之前文本推广子词汇表。让我们深入了解这对于LLM生成的文本来说意味着什么。

在生成过程中，LLM在执行采样或贪婪解码之前输出下一个令牌的logits列表。基于之前生成的文本，大多数方法将所有候选令牌分为两组——称它们为“红色”和“绿色”。“红色”令牌将被限制，而“绿色”组将被推广。这可以通过完全禁止红色组令牌（硬水印）或通过增加绿色组的概率（软水印）来实现。我们对原始概率的更改越多，我们的水印强度就越高。WaterBench创建了一个基准数据集，以便在控制水印强度进行苹果与苹果的比较时，促进跨水印算法的性能比较。

检测工作通过确定每个令牌的“颜色”，然后计算输入文本来自于讨论的模型的概率。值得注意的是，较短的文本因为令牌较少，因此置信度较低。

你可以在Hugging Face Hub上轻松实现LLM的水印。LLM水印Space（见图3）演示了这一点，使用了LLM水印方法对模型如OPT和Flan-T5进行了应用。对于生产级工作负载，你可以使用我们的文本生成推理工具包，它实现了相同的水印算法，并设置了相应的参数，可以与最新模型一起使用！

与AI生成图像的通用水印类似，是否可以普遍水印文本尚未得到证明。诸如GLTR之类的方法旨在对任何可访问的语言模型（鉴于它们依赖于将生成文本的logits与不同模型的logits进行比较）都具有鲁棒性。在没有访问该模型（无论是因为它是闭源的还是因为你不知道哪个模型被用来生成文本）的情况下，检测给定文本是否使用语言模型生成目前是不可能的。

正如我们上面讨论的，检测生成文本的方法需要大量文本才能可靠。即使如此，检测器也可能有高误报率，错误地将人们写的文本标记为合成。实际上，OpenAI在2023年因低准确率而悄悄关闭了他们的内部检测工具，这在教师用它来判断学生提交的作业是否使用ChatGPT生成时带来了意想不到的后果。

音频水印

从个人声音中提取的数据（声纹）通常被用作生物安全认证机制来识别个体。虽然通常与PIN或密码等其他安全因素结合使用，但这种生物识别数据的泄露仍然存在风险，可以被用来获得访问权限，例如银行账户，鉴于许多银行使用声音识别技术通过电话验证客户。随着声音变得更容易用AI复制，我们也必须改进验证声音音频真实性的技术。水印音频内容类似于水印图像，因为它有一个多维输出空间，可以用来注入有关来源的元数据。在音频的情况下，水印通常在人耳无法察觉的频率上进行（低于约20或高于约20,000 Hz），然后可以使用AI驱动的方法进行检测。

鉴于音频输出的高风险性质，水印音频内容是一个活跃的研究领域，过去几年提出了多种方法（例如，WaveFuzz，Venomave）。

来源：https://github.com/facebookresearch/audioseal

AudioSeal也被用于发布SeamlessExpressive和SeamlessStreaming演示，带有安全机制。

结论

面对虚假信息、被错误地指控生产合成内容，以及未经本人同意就使用其形象，都是既困难又耗时的问题；在可以进行更正和澄清之前，大部分损害已经造成。因此，作为我们使好的机器学习普惠化的使命的一部分，我们相信，拥有快速和系统地识别AI生成内容的机制是至关重要的。AI水印虽不是万能的，但在对抗恶意和误导性AI使用方面，它是一个强有力的工具。