MindSearch：下一代AI搜索引擎的技术创新与实践

MindSearch：下一代AI搜索引擎的技术创新与实践

引用

CSDN

1.

https://blog.csdn.net/qq_41739364/article/details/140944736

MindSearch是一个基于大型语言模型（LLMs）的多智能体框架，通过WebPlanner和WebSearcher的协同工作，能够有效处理复杂的网络信息搜索和整合任务。它通过将推理和检索过程的不同方面分配给专门的智能体，有效减轻了每个智能体的负担，使其能够更有效地处理长上下文信息。

MindSearch框架介绍

MindSearch框架由两个主要部分组成：WebPlanner和WebSearcher。

1. WebPlanner：作为高层规划器，WebPlanner负责组织推理步骤和协调多个WebSearcher的活动。它通过创建和扩展一个动态图（InitGraph和Add node and edge）来模拟问题的解决过程。图中展示了如何将用户查询分解为多个子问题（Node1, Node2, … Node-N），并逐步构建图谱以解决问题。

2. WebSearcher：负责执行细粒度的网络搜索，根据WebPlanner的指示，搜索相关信息，并将有价值的信息摘要反馈给WebPlanner。图中展示了三个WebSearcher实例，它们分别搜索有关《原神》（Genshin Impact）的不同方面，如背景（Background）、角色和关系（Roles and Relationships）以及游戏特色（Horners）。

3. 搜索和信息整合：WebPlanner首先根据用户查询“中国制作的视频游戏”重写搜索请求，并通过网络搜索API获取相关页面的内容。图中提到了页面1和页面6，分别提供了关于《原神》的背景信息和其他中国视频游戏的概述。

4. 多节点和多边的添加：WebPlanner根据搜索结果向图中添加多个节点和边，以构建问题的推理拓扑结构。

5. 并行执行：WebSearcher以并行方式工作，分别搜索和整合有关《原神》的不同信息，然后将这些信息汇总到WebPlanner。

6. 最终响应：在收集和整合了所有相关信息后，WebPlanner生成最终的响应，回答用户的原始问题。

这是一个框架图，展示了MindSearch如何通过WebPlanner和WebSearcher的协同工作来处理复杂的查询和信息整合任务。

MindSearch的工作流程

以“中国高铁发展”为主题进行搜索。

用户查询：
用户想要了解中国高铁技术的发展情况。

WebPlanner的行动：

1. 理解查询：WebPlanner识别出用户想要了解的是中国高铁技术的发展。
2. 查询重写：将查询细化为“中国高铁技术的发展历程”、“中国高铁网络的现状”和“中国高铁技术的未来规划”。
3. 构建动态图：创建一个动态图，将查询分解为子问题，比如“技术起源”、“关键技术”、“国际合作”、“现有网络”和“未来展望”。

WebSearcher的行动：

1. 搜索执行：WebSearcher根据WebPlanner的指示执行搜索，找到相关的网页和信息。
2. 信息收集：

• WebSearcher #1 搜索并收集中国高铁技术的起源和早期发展情况。
• WebSearcher #2 搜索并收集中国高铁的关键技术特点和创新。
• WebSearcher #3 搜索并收集中国高铁的国际合作案例和影响力。
• WebSearcher #4 搜索并收集中国高铁现有网络的规模和覆盖情况。
• WebSearcher #5 搜索并收集关于中国高铁技术未来发展的规划和预测。

信息整合与响应生成：

1. 并行处理：五个WebSearcher并行工作，收集和摘要信息。
2. 信息汇总：WebPlanner接收来自各个WebSearcher的信息，并整合它们。
3. 生成响应：WebPlanner根据整合的信息生成最终的响应，回答用户的查询。

最终响应：
WebPlanner整合所有信息，生成一份详细的介绍，包括：

• 中国高铁技术的起源和早期发展里程碑。
• 关键技术创新，如列车设计、轨道建设和信号系统。
• 国际合作项目，展示中国高铁技术的全球影响力。
• 现有高铁网络的规模，覆盖的城市和区域。
• 未来发展规划，包括新的线路和技术升级。

MindSearch的创新点

MindSearch的创新点主要体现在以下几个方面：

1. 多智能体设计：通过WebPlanner和WebSearcher的协同工作，实现复杂查询的分解和并行处理，提高了搜索效率和准确性。

2. 动态图构建：通过迭代图构建的方式，逐步将问题分解为顺序或并行的子问题，模拟人类专家解决问题的方式。

3. 层次化信息检索：WebSearcher采用分层检索过程提取有价值的数据，显著提高了信息聚合的效率。

4. 长上下文处理能力：通过多智能体设计，有效减轻了每个智能体的负担，使其能够更有效地处理长上下文信息。

MindSearch的实验评估

为了评估MindSearch的性能，研究团队设计了以下实验：

1. 开放式问答（Open-Set QA）：

• 选取100个真实世界中人类提出的问题。
• 收集MindSearch、Perplexity.ai的Pro版本以及带有搜索插件的ChatGPT给出的答案。
• 邀请五位人类专家根据答案的深度、广度和事实性三个方面进行评估。

评估结果显示，MindSearch在答案的深度和广度上都有显著提升，特别是在处理复杂查询时表现优异。然而，在事实性方面，MindSearch并没有表现出更好的性能。研究团队推测，过于详细的搜索结果可能会分散模型对原始问题的注意力，特别是在处理长上下文信息时。

2. 封闭集问答（Closed-Set QA）：

• 在Bamboagle、Musique和HotpotQA等多个数据集上进行评估。
• 选择封闭源的LLM（GPT-4o）和开源的LLM（InternLM2.5-7b-chat）作为后端模型。
• 使用主观的LLM评估器（GPT4-o）来评估HotpotQA的答案正确性。

实验结果表明，MindSearch在很大程度上显著优于基线模型，证实了其在复杂查询处理方面的优势。

MindSearch的未来发展方向

尽管MindSearch已经取得了显著的成果，但仍存在一些需要改进的地方：

1. 减少误导问题：在搜索过程中，过多的细节可能会分散模型对原始问题的注意力，特别是在处理长上下文信息时。未来可以探索更智能的搜索策略，以减少误导性信息的影响。

2. 提高事实性：虽然MindSearch在深度和广度上表现出色，但在事实性方面仍有提升空间。可以考虑引入更多的事实核查机制，确保搜索结果的准确性和可靠性。

3. 个性化搜索：目前的MindSearch主要关注于提供全面的答案，未来可以探索如何更好地满足用户的个性化需求，例如通过情感分析等技术，提供更有同理心的回答。

4. 跨模态搜索：目前的MindSearch主要集中在文本信息的搜索和整合，未来可以探索如何处理非文本内容（如图像、视频）的搜索，提供更全面的搜索体验。

MindSearch的出现，为我们提供了一个全新的AI搜索引擎解决方案。通过多智能体设计和动态图构建等创新技术，MindSearch能够有效处理复杂的网络信息搜索和整合任务，为用户提供更准确、全面的答案。随着技术的不断发展，相信MindSearch将在未来的AI搜索引擎领域发挥越来越重要的作用。