复旦大学李剑锋团队：首个理论模拟科研全流程自动化AI智能体
复旦大学李剑锋团队：首个理论模拟科研全流程自动化AI智能体
复旦大学李剑锋课题组最新研究开发出全球首个理论模拟科研全流程自动化AI智能体（ASA）。该系统能够根据研究计划自动完成从实验设计到报告生成的全流程，无需任何人工干预。这一突破性成果发表于《Journal of Chemical Information and Modeling》期刊，为科研自动化领域开辟了新的发展方向。
图1. 自动模拟智能体ASA（autonomous simulation agent）通过LLM提示工程设计，实现了从实验设计到报告生成的全模拟科研流程自动化。通过使用命令 do prj1.txt 提交研究计划文件，ASA 将自动执行所有任务，无需任何人工干预。
在科学研究中，理论模拟是一个至关重要的环节，尤其是在材料科学、化学和物理等领域。传统的模拟研究流程通常包括编写模拟程序、上传到远程服务器执行、数据分析和报告生成等步骤。这些步骤在确定研究计划后往往是标准化的，但通常需要研究人员手动操作，耗时且繁琐。随着人工智能（AI）技术的快速发展，特别是大型语言模型（LLMs，如ChatGPT）的崛起，利用AI实现科学研究自动化、简化工作流程并提高科研效率的设想逐渐成为可能。然而，如何实现从实验设计到报告生成的全流程自动化，仍然是一个亟待解决的重大挑战。
针对这一挑战，复旦大学李剑锋课题组首次提出了一种基于LLM提示词工程设计的自动模拟助手（ASA），能够根据研究计划（RP）自动完成从编写程序、远程执行到数据分析和报告撰写的全流程模拟研究。这一工作标志着理论模拟科研全流程自动化的首次实现，为未来的科学研究自动化提供了新的思路。ASA的核心亮点在于，它能根据简短的描述自动设计详细的RP并执行。例如，研究人员要求ASA选择两种机器学习方法预测材料性能，ASA自动建立了神经网络和随机森林模型并进行了训练，验证集R-squared值分别达到0.9589和0.9236，且生成了高质量报告比较两种方法的特点。此外，ASA-GPT-4o和ASA-Claude-3.5展现了出乎意料的智能表现，如主动整理文件、分析理论与模拟偏差、用丰富图表呈现数据等，展示了ASA的自主性。
未来，科研自动化是重要方向，ASA的成功应用展示了AI在这一领域的巨大潜力。该研究以“Toward Automated Simulation Research Workflow through LLM Prompt Engineering Design”为题发表于《Journal of Chemical Information and Modeling》。本文的第一作者为复旦大学高分子科学系2021级博士研究生刘之菡，通讯作者为复旦大学高分子科学系李剑锋教授。该研究得到国家自然科学基金等项目的支持。
全流程自动化的实现
大语言模型（LLMs）能够根据提示生成多样内容，但无法保证代码完全正确，且可能忽略复杂任务中的子任务。此外，LLMs无法直接控制本地计算机执行程序。为解决这些问题，本文开发了一个自动化系统，能够在本地运行LLM生成的代码，并通过提示工程和多轮交互指导LLM调试错误、检查任务完整性。最终构建了一个端到端的自动模拟助手（ASA）。ASA可以通过一行命令如“do prj.txt”启动，自动读取任务，分解任务，并执行，甚至能将程序上传至远程服务器进行模拟，这是基于网页的LLM无法实现的。
图4. 搭载不同LLM的ASA对RP 1-3的完成度统计。(A) 测试的LLM模型表。(B) 各ASA在20次实验中满足评估标准的次数统计。每个RP设定了七个标准，统计了达标次数（部分零结果未显示）。(C) 使用EWM和TOPSIS方法计算各ASA在RP 1-3中的相对得分。(D) ASA-GPT-4o为RP 1生成的Word报告示例，包括四个章节、链构象图和标度关系拟合图。
不同LLM驱动的ASA在标准问题上的可靠度测试
为评估ASA在自动化研究中的可行性和可靠性，本文基于已知结果的高分子物理问题，设计了3个标准测试问题。研究人员向ASA提供详细RP，要求其执行编写程序、远程模拟、整理数据、绘图及撰写报告等任务。
研究人员制定了多项评估标准（如模拟、作图、标度关系等），以测试ASA在无人干预下能否正确执行任务，并比较了不同LLM（如GPT-4o、GPT-4-Turbo、Claude-3.5等）驱动的ASA表现。其中，ASA-GPT-4o、ASA-GPT-4-Turbo、ASA-Claude-3.5和ASA-Gemini-1.5-Pro表现较好。ASA-GPT-4o和ASA-Claude-3.5在生成详细报告（超1000字）和精确引用文献方面表现突出。此外，它们展现了出乎意料的智能行为，比如它们会在RP没有要求的情况下，自动将生成的同类型文件归到一个文件夹中；ASA-Claude-3.5会在报告中主动引用经过理论推导和实验验证的准确自回避行走标度关系，并附带模拟结果偏差的简要分析；此外，ASA-GPT-4o 会以更丰富的图表呈现实验数据，例如端到端距离的频率分布图和基于网页的交互式图表。这些结果展示了ASA在处理复杂任务时的自主性。这些结果展示了ASA处理复杂任务的自主性。
本文通过天体引力模拟问题进一步测试了ASA处理复杂任务的能力。该任务要求ASA模拟太阳系天体运行并评估陨石对地球的威胁，即使对物理系毕业生也具有挑战性。ASA自动获取太阳系参数，编写程序计算小行星轨迹，并生成了报告。这一结果证明了LLM提示工程和自动化程序设计策略的有效性，展示了ASA跨领域解决问题的能力。
自主设计研究计划
在上述工作基础上，本文开发了Brief-RP ASA，增强了AI的自主性和灵活性。Brief-RP ASA能根据一两句话的问题描述自动生成详细AI RP。例如，研究人员要求Brief-RP ASA用两种机器学习方法预测聚合物粘度，Brief-RP ASA自动设计了AI RP，将数据集按8:2划分，通过神经网络和随机森林进行训练和预测，R-squared值分别达到0.9589和0.9236。此外，它还分析了随机森林的特征重要性，并强调了其可解释性优势，展示了其在自动化科研中的强大潜力。
图9. Brief-RP ASA根据AI RP设计的流程自动执行得到的结果报告。报告包含丰富和文字和图表信息，提到使用神经网络和随机森林两种方法进行了训练和预测，准确率R-squared值分别达到0.9589和0.9236。此外报告中还对随机森林模型进行了特征重要性分析，并强调了其在可解释性方面的优势。
除上述例子外，Brief-RP ASA还可广泛应用于其他研究问题，如文中给出的自然灾害频率对草地生态系统的影响，以及几何受限下的聚合物链构象问题例子。尽管其在新问题上的结果可靠性需进一步验证，但随着LLM能力的提升，Brief-RP ASA的潜力无限。
这项研究的亮点总结如下：
- 首次实现理论模拟科研全流程AI自动化：ASA能根据研究计划（RP）自动完成从实验设计到报告生成的全流程，无需人工干预，展示了其在科研自动化中的强大能力。
- 智能表现突出：ASA在实验中展现了超出RP要求的自主性，如主动整理文件、分析模拟偏差、用丰富图表（如概率分布图和交互式图表）呈现数据等，体现了ASA的强大智能。
- 自主设计研究计划：ASA能根据简短描述自动生成详细AI RP并执行。例如，它成功设计了基于机器学习的聚合物粘度预测模型、草地生态系统模拟及受限聚合物链构象研究等跨领域任务，并根据能够成功执行设计流程，生成丰富的数据和详细的图文报告。
- 推动科研自动化发展：本工作的意义在于，科研领域的未来方向之一是自动化整合。ASA的成功应用展示了AI在科研中的巨大潜力，能够实现从实验设计到报告生成的全流程自动化，提供高效、可靠的解决方案。未来，通过优化AI算法、提升任务准确性和扩展应用领域，科研自动化将迎来更广阔的发展空间，显著提高效率，并为探索复杂科学问题提供新工具，推动科研迈向智能化、自动化的新阶段。