多模态+GNN，2025这个创新思路必将爆发！

多模态+GNN，2025这个创新思路必将爆发！

引用

CSDN

1.

https://blog.csdn.net/weixin_42645636/article/details/145344771

近年来，图神经网络（GNN）与多模态结合的研究方向备受关注。这种结合能够整合多种数据，通过GNN提取信息、捕捉模态关系，提升性能。在多模态融合中，GNN可以平衡特征交互，动态优化效果，实现模型性能和预测准确性的全面提升。本文精选了12篇GNN+多模态领域的最新研究成果，涵盖生物信息学、药物相互作用预测等多个应用场景，为相关领域的研究者和从业者提供参考。

MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data

方法：作者利用多模态相似性学习图神经网络（MuSe-GNN）结合深度图神经网络和多模态机器学习，以解决基因表示学习中的数据异质性问题，通过单细胞测序和空间转录组数据创建信息丰富的图结构，显著提升了基因功能预测的准确性，并揭示了疾病相关基因的潜在机制和调控网络。

创新点：

• 首次将多模态机器学习与深度图神经网络（GNN）结合，用于大规模多模态生物数据的联合分析。
• MuSe-GNN 通过利用多模态生物数据构建信息丰富的图结构，并采用权重共享网络架构，以生成基因表示。
• MuSe-GNN 引入了一种受图自编码器启发的边重构损失函数。

Multimodal Graph Neural Architecture Search under Distribution Shifts

方法：本文提出了一种新颖的OMG-NAS方法，通过解耦多模态特征和使用随机傅里叶特征重加权样本，提升了MGNAS的OOD泛化能力，并通过引入三个新的多模态图-OOD数据集验证其有效性，解决了过拟合问题和伪相关性，显著贡献于多模态图神经架构搜索领域的泛化挑战。

创新点：

• 首次将跨分布（OOD）场景中的图神经网络架构搜索问题从多模态角度进行公式化，提出了三个新的多模态图OOD数据集，这为评估方法的泛化能力提供了新的基准。
• 引入了一种新的方法OMG-NAS，通过自动探索架构和多模态权重来提升MGNN模型的OOD泛化能力。
• 开发了一种重新加权的方法，能够有效去相关从训练集中获得的多模态图信息，提升了模型识别真实特征与标签关系的能力，并在不平衡数据设置中依然保持优异的表现。

Prot2Text: Multimodal Protein’s Function Generation with GNNs and Transformers

方法：论文提出了一种名为Prot2Text的创新多模态框架，通过整合GNNs和大型语言模型（LLMs），利用蛋白质的序列和结构信息生成自由文本形式的功能描述，提供了更详细和准确的蛋白质功能预测，为生物科学和药物发现带来了新的研究和应用前景。

创新点：

• Prot2Text框架是一个开创性的多模态方法，用于生成蛋白质功能的自由文本描述。通过结合GNNs和大型语言模型（LLMs），该模型能够同时编码蛋白质的3D结构和氨基酸序列，从而生成详细且准确的功能描述。
• 作者构建了一个包含256,690个蛋白质的多模态数据集，其中每个蛋白质都包含序列、3D结构及文本描述信息。

MKG-FENN: A Multimodal Knowledge Graph Fused End-to-End Neural Network for Accurate Drug–Drug Interaction Prediction

方法：该论文提出了一种名为MKG-FENN的新模型，通过多模态知识图谱和端到端神经网络融合，全面利用药物-化学实体、药物-子结构、药物-药物和分子结构四种知识图谱进行DDI事件的高精度预测。大量实验验证了该模型在多项评价指标上显著优于其他模型。

创新点：

• 首次通过端到端的学习框架，全面利用药物-化学实体、药物-子结构、药物-药物以及分子结构等多种关系和机制进行DDI事件预测。
• 提出了新颖且高精度的MKG-FENN模型，用于DDI事件预测。
• 通过多通道融合模型实现了持续的性能提升。