预训练GNN真绝了！随随便便就发了CCF-A！
预训练GNN真绝了！随随便便就发了CCF-A！
近年来，预训练图神经网络（GNN）的研究逐渐兴起并蓬勃发展，它通过在大规模无监督或弱监督图数据上进行预训练，学习通用的图特征表示，进而为下游特定任务提供有力的初始化模型，有效缓解了图数据标注困难、小样本学习效果不佳等问题，显著提升了 GNN 在各类图分析任务中的性能与泛化能力。本文精选了四篇关于预训练GNN的高质量论文，涵盖了从社交网络、生物信息网络到知识图谱等众多应用场景，为读者提供有价值的学术资源和研究思路。
1. Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery
方法
双层预训练框架（DGPM）：引入节点级和子图级的预训练任务，通过边池化模块自主发现图中的重要模式（motif）。
节点特征重建任务：利用图自编码器重建节点特征，捕捉局部节点信息。
子图级模式自发现任务：通过边池化层将节点合并为子图，对齐学习到的模式相似性与基于图核的相似性。
跨层级匹配任务：通过节点-模式匹配任务连接节点级和子图级的预训练，实现更复杂的图结构学习。
创新点
双层预训练架构：首次提出利用模式自发现机制的双层预训练框架，解决图自监督预训练中拓扑学习有限、依赖人类知识和多层级交互不足的问题。
子图级预训练任务：引入子图级预训练任务，通过模式自发现模块自主发现图中的关键结构，增强模型的泛化能力和可解释性。
性能提升：在15个基准数据集上验证了DGPM的优越性和泛化能力，平均性能提升6.79%，最大提升28.12%。
跨层级匹配学习：通过跨层级匹配任务，显著提升了节点和子图级预训练的协同效果，进一步提高了模型的鲁棒性和泛化能力。
2. GraphPro: Graph Pre-training and Prompt Learning for Recommendation
方法
动态图预训练：通过时间提示机制将时间信息嵌入用户-物品交互中，增强模型对时间动态的适应性。
图结构提示学习：通过提示边传递预训练知识，适应新的行为动态，避免连续增量学习的复杂性。
时间提示机制：采用相对时间编码，将时间信息融入图卷积中，增强模型对时间动态的适应性。
适应性门控机制：通过门控机制动态调整输入嵌入，有效处理不同时间快照之间的分布偏移。
创新点
动态图预训练与提示学习结合：首次将动态图预训练与提示学习相结合，能够有效处理用户偏好的动态变化。
时间提示机制：通过相对时间编码将时间信息融入图卷积中，显著提升了模型对时间动态的适应性。
性能提升：在多个真实世界数据集上验证了GraphPro的鲁棒性和效率，平均性能提升17.12%，最大提升106.98%。
图结构提示学习：通过提示边传递预训练知识，避免了连续增量学习的复杂性，显著提高了模型的适应性和泛化能力。
3. Unified Pretraining for Recommendation via Task Hypergraphs
方法
任务超图：将多种预训练任务统一为超边预测问题，通过超图学习捕捉不同任务中的先验知识。
过渡注意力层（TA）：适应性地学习每个辅助任务与推荐任务的相关性，实现知识的有效转移。
超图编码器：通过超图卷积层学习任务相关的节点嵌入，将不同任务中的先验知识整合到用户和物品的嵌入中。
预测与优化：通过不同的损失函数优化推荐任务和辅助任务，确保模型在预训练和微调阶段的鲁棒性。
创新点
任务超图统一框架：首次提出通过任务超图实现多任务预训练的框架，能够统一处理多种预训练任务。
过渡注意力层（TA）：适应性地学习每个辅助任务与推荐任务的相关性，避免过拟合和过泛化。
性能提升：在三个真实世界数据集上验证了UPRTH的优越性，平均性能提升17.79%，最大提升106.98%。
冷启动推荐：通过多任务预训练有效地解决了冷启动问题，显著提高了对新用户的推荐性能。
4. Universal Prompt Tuning for Graph Neural Networks
方法
Graph Prompt Feature (GPF)：提出了一种通用提示调整方法GPF，通过在输入图的特征空间中添加一个共享的可学习向量来调整图的特征表示，从而实现对下游任务的适应性调整。
GPF-plus：GPF的增强版本，为图中的每个节点分配独立的可学习向量，进一步提升了模型的灵活性和表达能力。
理论分析：通过严格的理论推导，证明了GPF和GPF-plus能够实现与任何提示函数相当的效果，并在某些情况下优于微调。
实验验证：在多种预训练策略和下游任务中验证了方法的有效性，尤其是在少样本场景下表现突出。
创新点
通用性：首次提出适用于所有预训练策略的通用提示调整方法，无需为每种预训练策略设计特定的提示函数。
性能提升：在全样本场景下，GPF和GPF-plus平均提升了1.4%的性能；在少样本场景下，平均提升了3.2%的性能。
超越现有方法：在针对特定预训练策略的实验中，GPF和GPF-plus显著优于现有的专用提示调整方法，平均提升12%、3%和13%的性能。
理论保证：提供了理论证明，表明GPF和GPF-plus在某些情况下能够实现比微调更好的调整结果。