姚期智院士大模型新研究：思维图DoT，用数学理论确保AI逻辑一致性

姚期智院士大模型新研究：思维图DoT，用数学理论确保AI逻辑一致性

引用

腾讯

1.

https://new.qq.com/rain/a/20240924A03KWJ00

姚期智院士领衔的团队推出了一种新的大模型推理框架DoT（Diagram of Thought），通过拓扑斯理论（Topos Theory）确保AI逻辑一致性。与CoT将推理过程表示为线性序列不同，DoT更能捕捉人类推理的复杂性，不需要依赖外部控制机制或多个模型协作。

DoT的工作原理

DoT将逻辑推理过程建模为在单个LLM内构建有向无环图（DAG），包括提议者、批评者和总结者三个关键角色。这种无环的特性确保推理过程不受循环依赖的影响，能更真实反映合理的逻辑推导。

与现有方法的对比

相比CoT将推理过程表示为线性序列，DoT更能捕捉人类推理的复杂性。相比引入分支结构ToT和GoT，DoT不需要依赖外部控制机制或多个模型协作，训练部署更简单。

数学基础

团队为这种推理过程提供了数学基础，通过拓扑斯理论（Topos Theory）对推理过程进行了形式化描述。这种方法不仅捕捉了推理的非线性和迭代特性，还通过自然语言批评提供了比二元信号更丰富的反馈。

研究团队

这项研究由清华交叉信息研究院姚期智、袁洋领衔，论文第一作者为张伊凡。研究团队成员均在AI领域有深厚的研究背景和丰富的研究成果。

One More Thing

一年前的差不多同一时间，姚期智院士领衔提出了累积推理（Cumulative Reasoning，CR）的方法。DoT是对CR的进一步深化。与CR相比，DoT直接在单一模型内构建有向无环图，不依赖于外部控制机制或多个模型，训练和部署更简单。且在DoT中，模型生成的批评反馈是自然语言形式的，而不是像CR那样只给出二值信号。

论文链接：https://arxiv.org/abs/2409.10038