斯坦福博士详解AlphaFold3：从token到结构的AI突破

斯坦福博士详解AlphaFold3：从token到结构的AI突破

引用

CSDN

等

11

来源

1.

https://blog.csdn.net/weixin_53895111/article/details/139033434

2.

https://new.qq.com/rain/a/20240721A03IWU00

3.

https://ecas.cas.cn/xxkw/kbcd/201115_145987/ml/xxhcxyyyal/202407/t20240718_5026382.html

4.

https://www.thepaper.cn/newsDetail_forward_28145798

5.

https://blog.csdn.net/weixin_4528312/article/details/138594593

6.

https://www.medsci.cn/article/show_article.do?id=b71282639225

7.

https://hanlab.net/newsinfo/7381399.html

8.

https://news.bioon.com/article/f13a824932cf.html

9.

https://developer.aliyun.com/article/1579645

10.

https://swarma.org/?p=50225

11.

https://www.xuexiaigc.com/aigcnews/%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%8D%9A%E5%A3%AB%E5%9B%BE%E8%A7%A3AlphaFold-3%EF%BC%9A%E8%B6%85%E5%A4%9A%E7%BB%86%E8%8A%82%2B%E5%8F%AF%E8%A7%86%E5%8C%96%E8%BF%98%E5%8E%9FML%E5%B7%A5%E7%A8%8B%E5%B8%88/

2024年5月，DeepMind与Isomorphic Labs在Nature期刊发表了一篇重磅论文，正式推出了AlphaFold3。这个新版本不仅能够预测蛋白质结构，还能准确预测蛋白质与其他各种生物分子（包括小分子、DNA和RNA）的相互作用，堪称生物分子结构预测领域的重大突破。

AlphaFold3的核心创新之一是其多样化的分子表示方法。在AlphaFold2中，模型仅需处理23个标记：20个标准氨基酸、1个未知氨基酸、1个间隙标记和1个MSA掩码标记。而AlphaFold3则扩展了这一体系，能够处理更广泛的分子类型：

• 蛋白质：20个氨基酸标记
• RNA和DNA：核苷酸标记
• 其他分子：单个重原子标记

这种灵活的token体系使得AlphaFold3能够处理几乎所有的生物分子类型，为其广泛的预测能力奠定了基础。

AlphaFold3的模型架构可以分为三个主要部分：输入准备、表征学习和结构预测。

输入准备：六大张量构建输入特征

用户向AlphaFold3提供的实际输入是一个蛋白质序列和可选的其他分子。模型会将这些序列转换成一系列6个张量，作为模型主干的输入：

1. s（token级单一表征）：表示每个token的特征
2. z（token级配对表征）：表示token之间的关系
3. q（原子级单一表征）：表示原子级别的特征
4. p（原子级配对表征）：表示原子之间的关系
5. m（MSA表征）：多序列比对信息
6. t（模板表征）：结构相似分子的信息

表征学习：注意力机制的多重应用

在表征学习阶段，AlphaFold3使用了多种注意力机制来更新这些表征。其中最核心的是Pairformer模块，它取代了AlphaFold2中的Evoformer模块。Pairformer模块专注于处理token之间的配对关系，通过迭代优化来更新单一表征和配对表征。

值得注意的是，AlphaFold3大幅简化了MSA的处理，仅保留了4个块，远少于AlphaFold2的48个块。此外，模型还用SwiGLU激活函数替换了大部分ReLU激活函数，以提升性能。

结构预测：扩散模型的应用

在结构预测阶段，AlphaFold3采用了扩散模型这一最新技术。扩散模型从一团随机的原子云开始，通过一系列步骤逐渐优化，最终生成最准确的分子结构。这种基于扩散的预测方法不仅提高了预测精度，还能够直接预测原子坐标，避免了立体化学损失的问题。

AlphaFold3相比其前代产品，实现了多个方面的重大改进：

1. 模型架构：引入Pairformer模块取代Evoformer，简化MSA处理，仅保留4个块
2. 激活函数：用SwiGLU替代ReLU，提升模型性能
3. 预测方法：采用扩散模型直接预测原子坐标，消除立体化学损失
4. 输入表示：扩展token体系，能够处理更多类型的生物分子

这些技术创新使得AlphaFold3在预测精度上有了显著提升，特别是在蛋白质-配体相互作用、蛋白质-核酸相互作用以及抗体-抗原相互作用等方面。

为了帮助更多人理解AlphaFold3的复杂架构，斯坦福大学的两位博士生制作了一个图解版本。他们将模型的各个部分可视化，通过直观的图表和详细的注释，使得这个复杂的AI模型变得更加易于理解。

这种图解方式不仅帮助学术界更好地理解AlphaFold3的工作原理，也为机器学习工程师提供了宝贵的参考资料。

AlphaFold3的推出，标志着生物分子结构预测进入了一个全新的阶段。其强大的预测能力不仅能够帮助科学家更深入地理解生物分子的相互作用，还为药物研发开辟了新的可能性。正如DeepMind所言，这个“值得获得诺贝尔奖的发明”正在为生物医学研究带来革命性的变化。