JAMA发布详细投稿指南：如何在论文中报告AI的使用

JAMA发布详细投稿指南：如何在论文中报告AI的使用

2024年3月7日，《JAMA》发表了一篇文章，明确规定了如何在论文中说明人工智能（AI）的使用。这些信息已同步更新到《JAMA》和《JAMA Network》的作者投稿须知中。

原文链接：https://jamanetwork.com/journals/jama/fullarticle/2816213

撰写稿件时使用AI的声明

当使用传统或生成式AI创建、审核、修改或编辑论文手稿中的任何内容时，作者应在论文的Acknowledge部分报告以下内容：

• AI软件平台、应用程序或工具的名称
• AI工具的版本号和扩展号
• 制造商名称
• 使用日期
• 简要描述AI的使用方式，以及在论文手稿的哪些部分使用了AI
• 确认作者会对AI生成内容的完整性负责

注：以上指南不适用于AI检查语法、拼写和参考文献等用途

研究中使用AI的准则

当将AI（如大型语言模型[LLM]、自然语言处理[NLP]、机器学习、聊天机器人等）用于科学研究时，作者应遵守以下准则：

• 遵循特定研究设计的报告规范（见下框中的示例），需要详细报告相应规范列出的各条目。
• 避免在文本、表格或图形中包含可识别的患者信息。
• 如果包含AI生成的内容（文本、图像），请注意版权和知识产权问题，并获得了发布许可。

方法部分

• 包括研究设计，如果有相关的报告规范，请说明如何遵循了该规范，并提供细节以确保可重复性。
• 描述是如何将AI应用于研究中的某些环节（如提出或完善研究假设、协助生成协变量列表、创建图表等）。
• 使用了LLMs的研究，应提供该软件平台或程序、工具、版本和制造商名称；报告使用日期，提示词（prompt）及其顺序，以及根据初始输出结果对提示词做出的任何修改。
• 报告机器学习和算法开发的研究，要说明用于开发、训练和验证数据集的详细信息。明确指出算法是否仅在先前收集或现有的数据集上进行训练和测试，或者研究是否包括前瞻性部署（prospective deployment）。还应介绍机器学习模型，描述变量、结局、以及选择的微调参数。描述所涉及的任何假设（如对数线性）以及如何检验这些假设。
• 说明用于评估算法性能的指标，包括偏倚、区分度、校准度、再分类等（视情况而定）。
• 说明缺失数据的处理方法。
• 说明机构审查委员会/伦理审查、批准或豁免情况。
• 描述AI相关方法学偏倚、AI生成内容不准确的解决方法。
• 在适用的情况下，说明是否进行了敏感性分析，以探究AI模型在弱势或代表性不足的群体中的表现。
• 提供数据共享声明，包括是否共享代码。

结果部分

• 报告比较性结果时，应提供效应值、不确定性（如95%CI）和其他测量值（如似然比），同时应包括有关性能错误、不准确或缺失数据的信息，以及足够的细节供他人复现结果。
• 报告解决方法学偏倚和人群代表性问题的分析结果。
• 如果表格或图形中包含AI生成的文本或内容，需注明来源和许可信息。

讨论部分

• 讨论AI相关偏倚的可能性，以及为识别和减少偏倚采取的措施。
• 讨论AI生成内容可能不准确，以及为识别和处理此类问题采取的措施。
• 讨论研究结果在人群中的外推性，以及为探索AI模型在弱势或代表性不足群体中的表现而进行的分析结果。

参考文献：

[1]. JAMA.2024.doi: 10.1001/jama.2024.3471.

[2]. BMJ.2020:370:m3164.doi: 10.1136/bmj.m3164.

[3]. BMJ.2020:370:m3210.doi: 10.1136/bmj.m3210.

[4]. Nat Med.2020;26(9):1320-1324.

[5]. Radiol Artif Intell.2020;2(2):e200029.