人工智能生成的图像和视频如何影响科学研究？
人工智能生成的图像和视频如何影响科学研究？
科学家们已经在使用图像生成模型来为论文和演示文稿增添活力。但有人说，这些工具可能会损害研究。
图1：Sora 等工具可以从文本提示中生成令人信服的视频片段。图片来源：Jonathan Raa/NurPhoto via Getty
将文本描述转换为图像和视频的人工智能（AI）工具正在迅速发展。正如许多研究人员正在使用 ChatGPT 来改变科学写作的过程一样，其他人也在使用 Midjourney、Stable Diffusion 和 DALL-E 等 AI 图像生成器来减少制作图表和插图所需的时间和精力。然而，研究人员警告说，这些人工智能工具可能会刺激虚假数据和不准确的科学图像的增加。
《自然》杂志着眼于研究人员如何使用这些工具，以及它们日益普及对科学意味着什么。
文本到图像工具如何工作？
许多文本到图像的 AI 工具，例如 Midjourney 和 DALL-E，都依赖于称为扩散模型的机器学习算法，这些算法经过训练可以识别从互联网上抓取的数百万张图像与这些图像的文本描述之间的联系。近年来，由于硬件的改进和用于训练的大型数据集的可用性，这些模型取得了进步。训练后，扩散模型可以使用文本提示来生成新图像。
研究人员使用它们做什么？
一些研究人员已经在使用人工智能生成的图像来说明科学论文中的方法。其他人则使用它们在社交媒体帖子中宣传论文或为演示幻灯片增添趣味。“他们正在使用DALL-E 3等工具来生成漂亮的图像来构建研究概念，”加拿大蒙特利尔ServiceNow Research的AI研究员Juan Rodriguez说。“上周四，我做了一个关于我的工作的演讲，我使用DALL-E 3来生成吸引人的图像，以保持人们的注意力，”他说。
Rodriguez说，文本到视频工具也在增加，但似乎没有被积极开发或研究这些工具的研究人员广泛使用。然而，这种情况可能很快就会改变。上个月，ChatGPT 的创建者 OpenAI 在加利福尼亚州旧金山发布了由一个名为 Sora 的文本到视频工具生成的视频剪辑。“通过我们在Sora上看到的实验，他们的方法似乎在快速获得结果方面更加强大，”Rodriguez说。“我们在文本到视频方面还处于早期阶段，但我想今年我们将了解它是如何发展的，”他补充道。
使用这些工具有什么好处？
生成式人工智能工具可以减少为论文、会议海报或演示文稿生成图像或图形所需的时间。传统上，研究人员使用一系列非人工智能工具，如PowerPoint、BioRender和Inkscape。“如果你真的知道如何使用这些工具，你可以做出非常令人印象深刻的数字，但这很耗时，”罗德里格斯说。
罗德里格斯说，人工智能工具还可以提高研究人员的图像质量，他们发现很难将科学概念转化为视觉辅助工具。他说，通过生成式人工智能，研究人员仍然会为图像提出高级想法，但他们可以使用人工智能来完善它。
有什么风险？
目前，人工智能工具可以生成令人信服的艺术品和一些插图，但它们还不能生成带有文本注释的复杂科学图形。罗德里格斯说：“他们没有正确处理文本——文本有时太小、太大或旋转。2月中旬发表在《细胞与发育生物学前沿》（Frontiers in Cell and Developmental Biology）上的一篇论文中明确指出了可能出现的问题，研究人员使用Midjourney来描绘大鼠的生殖器官1.结果通过了同行评审，是一只卡通啮齿动物，生殖器滑稽地巨大，上面有胡言乱语。
“这是一种非常奇怪的怪诞的老鼠形象，”加拿大埃德蒙顿阿尔伯塔大学古生物学学生、古生物学家亨利·夏普（Henry Sharpe）说。这起事件是“迄今为止涉及人工智能生成图像的最大案件”之一，在法国图卢兹大学研究欺诈性人工智能生成文本的纪尧姆·卡巴纳克（Guillaume Cabanac）说。在研究人员的公开抗议之后，这篇论文被撤回。
图2：这个现在臭名昭著的人工智能生成的数字出现在一篇科学论文中，后来被撤回。图片来源：X. Guo et al./Front。细胞开发生物学。
罗德里格斯说，人工智能工具也有可能使科学欺诈者更容易产生虚假数据或观察结果。他说，论文可能不仅包含人工智能生成的文本，还包含人工智能生成的数字。目前还没有强大的方法来检测此类图像和视频。罗德里格斯说：“从某种意义上说，这将变得非常可怕，因为我们将受到虚假和合成生成的数据的轰炸。为了解决这个问题，一些研究人员正在开发将信号注入人工智能生成的图像中的方法，以实现它们的检测。
为什么某些领域会引起强烈反对？
上个月，夏普在X、Facebook和Instagram等社交媒体平台上发起了一项民意调查，调查了大约90名古生物学家对人工智能生成的古代生活描述的看法。“只有四分之一的专业古生物学家认为人工智能应该被允许出现在科学出版物中，”夏普说。
他补充说，人工智能生成的古代生命形式或化石图像可能会误导科学家和公众。“这是不准确的，它所做的只是复制现有的东西，它实际上不能出去阅读论文。夏普说，在与古生物学家协商后，手工迭代重建古代生命形式，可以揭示合理的解剖学特征——这个过程在使用人工智能时完全消失了。古生物学家和古生物学家使用标签 #PaleoAgainstAI 对X发表了类似的观点。
出版商如何适应这些工具的普及？
期刊对人工智能生成图像的政策各不相同。施普林格·自然（Springer Nature）已禁止在大多数非专门针对人工智能的期刊文章中使用人工智能生成的图像、视频和插图（《自然》的新闻团队独立于其出版商施普林格·自然）。未经编辑明确许可，《科学》系列期刊不允许使用人工智能生成的文本、图表或图像，除非论文专门涉及人工智能或机器学习。PLOS ONE允许使用人工智能工具，但规定研究人员必须声明所涉及的工具，他们如何使用它以及他们如何验证生成内容的质量。
本文原文来自《自然》杂志