AI图像生成器经常给出种族主义和性别歧视的结果：它们能被修复吗？
AI图像生成器经常给出种族主义和性别歧视的结果：它们能被修复吗？
AI图像生成器在为人们带来便利的同时，也暴露出一些问题。研究表明，这些工具生成的图像中普遍存在种族和性别偏见，这引发了人们的担忧。研究人员正在努力寻找解决方案，但这是一个复杂的问题，需要整个行业和社会的共同努力。
阿达·杰琳斯卡插图
2022年，加州斯坦福大学人工智能（AI）研究生Pratyusha Ria Kalluri在生成图像的AI程序中发现了一些令人震惊的东西。当她推广一个流行工具“一个美国男人和他的房子的照片”时，它生成了一个肤色苍白的人在一个殖民风格的大房子前的图像。当她要求“一个非洲男人和他的豪华房子的照片”时，它产生了一个黑皮肤的人在一个简单的泥房子前的图像——尽管有“豪华”这个词。
经过一番挖掘，卡鲁里和她的同事发现，由Stability AI公司发布的流行工具Stable Diffusion和OpenAI公司的DALL E生成的图像绝大多数都采用了常见的刻板印象，例如将“非洲”一词与贫困联系起来，或将“贫困”与深色肤色联系起来。他们研究的工具甚至放大了一些偏见。例如，在要求提供从事特定工作的人的照片的提示生成的图像中，这些工具将几乎所有的管家描绘成有色人种，将所有的空姐描绘成女性，其比例远远高于人口统计现实（参见“放大的刻板印象”）1。其他研究人员也发现了普遍存在的类似偏见:文本到图像的生成式人工智能模型通常生成的图像包含与性别、肤色、职业、国籍等相关的偏见和刻板印象。
资料来源:参考文献。一
考虑到社会上充斥着这种刻板印象，这或许并不奇怪。研究表明，媒体2、全球卫生组织3和维基百科4等互联网数据库使用的图像经常带有性别和种族偏见。人工智能模型正在接受在线图片的训练，这些图片不仅存在偏见，有时还包含非法或有问题的图像，例如虐待儿童或未经同意的裸体照片。它们塑造了人工智能创造的东西:在某些情况下，图像生成器创造的图像甚至不如谷歌图像搜索的结果多样化，卡鲁里说。“我想很多人应该会觉得这非常惊人和令人担忧。”
研究人员表示，这个问题很重要，因为越来越多地使用人工智能生成图像将进一步加剧刻板印象。尽管一些用户为了好玩而生成人工智能图像，但其他用户则使用它们来填充网站或医疗小册子。批评人士表示，在人工智能变得根深蒂固之前，现在就应该解决这个问题。包括联合国教科文组织2022年人工智能伦理建议在内的大量报告都强调偏见是一个主要问题。
一些研究人员专注于教人们如何更好地使用这些工具，或者研究出改善训练数据管理的方法。但这个领域困难重重，包括不确定“正确”的结果应该是什么。研究人员表示，最重要的一步是开放人工智能系统，以便人们可以看到引擎盖下发生了什么，偏见在哪里产生以及如何最好地压制它们。“我们需要推动开源。如果很多数据集不是开源的，我们甚至不知道存在什么问题，”都柏林Mozilla基金会的认知科学家Abeba Birhane说。
给我画一幅画
图像生成器最早出现在2015年，当时研究人员构建了alignDRAW，这是一种可以根据文本输入生成模糊图像的人工智能模型5。它在一个包含约83，000张带字幕图像的数据集上进行训练。如今，一系列能力各异的图像生成器在包含数十亿张图像的数据集上接受了训练。大多数工具都是专有的，哪些图像被输入这些系统的细节以及它们的具体工作方式通常都是保密的。
这张图片由“一个非洲男人和他的豪宅”的提示生成，显示了许多生成的图片中“非洲”和“贫困”之间的一些典型联系。鸣谢:P. Kalluri等人使用稳定扩散XL生成
一般来说，这些生成器学会将颜色、形状或风格等属性与各种描述符联系起来。当用户输入提示时，生成器会根据与这些单词相近的属性构建新的视觉描述。结果可能令人惊讶地逼真，而且经常有奇怪的缺陷（例如，手有时有六个手指）。
在这个过程中，这些训练图像上的文字说明至关重要，这些文字说明是由人类编写的，或者是自动生成的，无论是首次上传到互联网上还是数据集放在一起时都是如此。但这些信息往往是不完整的、有选择性的，因此本身就带有偏见。例如，黄色香蕉可能会被简单地标注为“香蕉”，但粉色香蕉的描述可能会包括颜色。“肤色也会发生同样的事情。加拿大渥太华国家研究委员会的人工智能研究科学家凯瑟琳·弗雷泽说:“白皮肤被认为是默认的，所以通常不会被提及。”弗雷泽说:“因此，人工智能模型在这种情况下错误地了解到，当我们在提示中使用短语'肤色’时，我们想要深色肤色。”
这些人工智能系统的困难在于，它们不能在生成的图像中遗漏模糊或有问题的细节。“如果你去请医生，他们不可能不考虑肤色问题，”卡鲁里说。如果用户要求一张善良的人的照片，人工智能系统必须以某种方式将其可视化。“他们如何填空给偏见留下了很大的空间，”她说。这是图像生成特有的问题——相比之下，人工智能文本生成器可以创建基于语言的医生描述，例如，从不提及性别或种族；对于语言翻译人员来说，输入文本就足够了。
自己做
一个普遍提出的生成多样化图像的方法是编写更好的提示。例如，2022年的一项研究发现，在提示中添加短语“如果所有人都是【X】，无论性别如何”有助于减少生成的图像中的性别偏见6。
但是这并不总是如预期的那样工作。弗雷泽和她的同事在2023年进行的一项研究发现，这种干预有时会加剧偏见。例如，添加短语“如果所有人都可以是重罪犯，无论肤色如何”，则结果从大多数深色皮肤的人转向所有深色皮肤的人。即使是明确的反提示也会产生意想不到的效果:例如，在“穷人”的提示中添加“白色”一词，有时会导致图像中通常与白色相关的特征（如蓝眼睛）被添加到深色皮肤的脸上。
在《柳叶刀》对全球健康图像的一项研究中，提示“非洲黑人医生正在帮助贫困和患病的白人儿童，新闻摄影”产生了这张图像，再现了他们明确试图抵制的“白人救世主”比喻。鸣谢:A. Alenichev等人使用Midjourney生成
另一个常见的解决方法是用户通过输入一些与他们所寻找的更相似的图像来引导结果。例如，生成式人工智能的Midjourney程序允许用户在提示中添加图片网址。“但真的感觉每次机构这样做的时候，他们真的是在玩打地鼠游戏，”卡鲁里说。“他们是在回应人们想要塑造的一种非常特定的形象，而不是真正面对根本问题。”
卡鲁里说，这些解决方案也不公平地将责任推给了用户，尤其是那些在数据集中代表性不足的用户。此外，许多用户可能不会考虑偏见，也不太可能付费运行多个查询来获取更多样化的图像。弗雷泽说:“如果你在生成的图像中看不到任何多样性，就没有经济动机再次运行它。”
一些公司表示，他们在算法中添加了一些东西，以帮助在没有用户干预的情况下抵消偏见:例如，OpenAI表示，DALL E2使用了一种“新技术”，从不指定种族或性别的提示中创造更多多样性。但尚不清楚这种系统是如何工作的，它们也可能产生意想不到的影响。2月初，谷歌发布了一款图像生成器，该生成器经过调整，避免了一些典型的图像生成器缺陷。当用户提示要求一张“1943年德国士兵”的照片时，媒体掀起了一阵狂热，创建了黑人和亚洲纳粹的图像——这是一个多样化但历史上不准确的结果。谷歌承认了这一错误，并暂时停止了其生成人物图像的功能。
数据清理
在这些努力的同时，还试图改善对训练数据集的监管，这对那些包含数十亿张图像的数据集来说既耗时又昂贵。这意味着公司求助于自动过滤机制来删除不想要的数据。
然而，基于关键词的自动过滤并不能捕获所有信息。例如，包括Birhane在内的研究人员发现，在某些情况下，“女儿”和“修女”等良性关键词被用来标记性暴露的图像，女学生的图像有时会被标记为性掠夺者搜索的词语8。过滤也会产生意想不到的效果。例如，自动清理基于文本的大型数据集的尝试删除了大量由少数群体个人创作或为少数群体个人创作的内容9。OpenAI发现，它在DALL E2中对性和暴力图像的广泛过滤产生了意想不到的效果，对女性图像的生成产生了偏见，因为女性在这些图像中的比例过高。
Birhane说，最好的监管“需要人类的参与”。但这又慢又贵，而且她很清楚，看很多这样的照片会让她情绪低落。“有时候太多了。”
这些数据集通常是专有的，这阻碍了对策展过程的独立评估。为了帮助克服这个问题，德国汉堡的非营利组织LAION创建了公开可用的机器学习模型和数据集，这些模型和数据集链接到图像及其说明，试图复制人工智能公司紧闭的大门背后发生的事情。Birhane说:“他们通过整合LAION数据集所做的事情让我们得以一窥像OpenAI这样的大公司和公司内部的数据集是什么样子的。”尽管旨在用于研究，但这些数据集已被用于训练稳定扩散等模型。
研究人员通过查询LAION数据了解到，越大并不总是越好。Birhane说，人工智能研究人员经常假设训练数据集越大，偏见就越有可能消失。“人们经常声称规模抵消了噪音，”她说。“事实上，好的和坏的并不均衡。“在2023年的一项研究中，Birhane和她的团队比较了拥有4亿个图像链接的LAION-400M数据集和拥有20亿个图像链接的LAION-2B-en数据集，发现在更大的数据集10中，标题中的仇恨内容增加了约12%，这可能是因为更多低质量的数据被漏掉了。
另一个小组的调查发现，LAION-5B数据集包含儿童性虐待材料。在此之后，莱昂记下了数据集。LAION的一位发言人告诉《自然》，它正在与英国慈善机构互联网观察基金会和位于温尼伯的加拿大儿童保护中心合作，在重新发布数据集之前识别并删除非法材料的链接。
打开或关闭
如果LAION承受着一些负面新闻的冲击，那可能是因为它是为数不多的公开数据来源之一。“我们仍然不太了解这些公司内部创建的数据集，”威尔·奥尔说，他在洛杉矶南加州大学研究数据生产的文化实践。“他们说这是因为这是专有知识，但这也是一种让自己远离责任的方式。”
在回答《自然》杂志关于采取了哪些措施从DALL E的训练数据集中删除有害或有偏见的内容的问题时，OpenAI指出了公开发布的报告，这些报告概述了其减少性别和种族偏见的工作，但没有提供具体细节说明如何实现这一目标。Stability AI和Midjourney没有回复《自然》杂志的电子邮件。
奥尔采访了一些来自科技公司、大学和包括LAION在内的非营利组织的数据集创建者，以了解他们的动机和制约因素。“其中一些创作者觉得他们无法展示数据集的所有局限性，”他表示，因为这可能被视为削弱其作品价值的关键弱点。
专家们认为，该领域仍然缺乏注释他们工作的标准化实践，这将有助于使其更开放地接受审查和调查。Mozilla基金会研究员、加州大学伯克利分校计算机科学家黛博拉·拉吉说:“机器学习社区历史上一直没有足够的文档或日志记录文化。”2018年，人工智能伦理研究员蒂姆尼特·格布鲁（Timnit Gebru）和她的团队发布了一份数据表，以标准化机器学习数据集的文档流程。蒂姆尼特·格布鲁是负责任的人工智能的大力支持者，也是社区组织Black in AI的联合创始人11。该数据表包含50多个问题，用于指导有关内容、收集流程、过滤、预期用途等的文档。
拉吉说，数据表“是一项非常关键的干预措施”。尽管许多学者越来越多地采用这种记录实践，但公司没有动力公开他们的数据集。Birhane说，只有法规才能强制这样做。
一个例子是欧洲议会3月13日批准的欧洲联盟人工智能法案。一旦成为法律，它将要求高风险人工智能系统的开发人员提供技术文档，包括描述训练数据和技术的数据表，以及有关预期输出质量和潜在歧视性影响的细节等信息。但哪些车型将被归入高风险类别仍不清楚。如果获得通过，该法案将是第一部针对人工智能技术的全面法规，并将影响其他国家对人工智能法律的看法。
Birhane、Fraser等专家认为，明确和充分知情的监管将推动公司更加了解它们如何构建和发布人工智能工具。“图像生成工作的许多政策重点一直围绕着通过使用这些图像最大限度地减少错误信息、虚假陈述和欺诈，而很少关注偏见、功能或性能，”拉吉说。
然而，研究人员表示，即使关注偏见，人工智能的理想输出应该是什么仍然是一个问题——这是一个没有简单答案的社会问题。弗雷泽说:“对于所谓的正确答案应该是什么样子，不一定有一致的意见。”我们希望我们的人工智能系统反映现实吗，即使现实是不公平的？还是应该以一种公平的、50:50的方式来表示性别和种族等特征？“必须有人来决定应该如何分配，”她说。https:///10.1038/d41586-024-00674-9
参考
1.Bianchi，f .等人。2023年ACM会议。公平账户。Transpar。（FAccT'23）1493–1504（2023年）；https:///mkw9有售
2.新闻媒体中的视觉表征和刻板印象。CEPR讨论文件第DP16624号（CEPR，2021年）；https:///abstract=3960205有售
谷歌学术
3.Charani，e .等。健康，11，155–164（2023年）。
文章
谷歌学术
4.吉尔博等人，《自然》626，1049–1055（2024年）。
文章
PubMed
谷歌学术5 .5.Mansimov，e .，Parisotto，e .，Ba，J. L .和Salakhutdinov，r .，arXivhttps:///10.48550/arXiv.1511.02793的预印本（2015年）。
6..班萨尔，尹，d，莫纳贾蒂普尔，m .和张，k-w。2022年会议Empir。方法Nat。郎。过程。1358–1370（计算语言学协会，2022年）；https:///mkxb有售
7.弗雷泽，K. C .，基里琴科，s .和内贾德霍利，第14国际队。糖膏剂计算机。创造力（ICCC'23）（2023年计算创造力国际会议）；https://go./4abrcyz有售
8.Birhane，a .，Prabhu，V. U .和Kahembwe，e .在arXivhttps:///10.48550/arXiv.2110.01963会议上的预印本（2021年）。
9.道奇，j .等人。2021年会议。Empir。方法Nat。郎。过程。1286–1305（计算语言学协会，2021年）；https:///mkxc有售
10.Birhane，a .，Prabhu，v .，Han，s .，Boddeti，V. N .和Luccioni A. S .，arXiv的预印本（2023年）。
11..Gebru，t .等人。美国计算机学会64，86–92（2021年）。
文章
谷歌学术