Relphormer：用于知识图谱表示的关系图Transformer

创作时间:

作者:

@小白创作中心

Relphormer：用于知识图谱表示的关系图Transformer

引用

CSDN

https://blog.csdn.net/weixin_44386956/article/details/141305938

知识图谱表示学习是人工智能领域的重要研究方向，而Transformer架构在自然语言处理、计算机视觉等多个领域都取得了显著成果。然而，传统的Transformer架构在知识图谱表示上并未带来有希望的改进。本文介绍了一种新的知识图谱表示Transformer变体——Relphormer，通过创新的Triple2Seq、结构增强自注意力机制和掩蔽知识建模等技术，有效解决了知识图谱表示学习中的关键挑战。

背景与动机

完全应用Transformer架构到知识图谱面临三个主要挑战：

边和节点的异构性：知识图谱是具有丰富语义边缘的关系图，多条边具有不同的关系信息，导致不同的异构表示。
拓扑结构和文本描述：知识图谱是具有两种类型知识的文本丰富网络，即拓扑结构和文本描述。不同的节点具有独特的拓扑和文本特征。
任务优化的普遍性：大多数现有方法遵循具有预定义评分函数的知识嵌入范式，难以提供统一的学习表示。

为了解决上述问题，研究者提出了关系图Transformer（Relphormer），通过以下创新技术：

Triple2Seq：动态采样上下文子图序列作为输入，缓解异构性问题。
结构增强自注意力机制：编码关系信息并保持实体和关系内的语义信息。
掩蔽知识建模：统一的知识图谱表示学习机制，适用于知识图谱补全、问答和推荐等多种任务。

方法论

预备知识

设G = ( E , R ) \mathcal{G} = (\mathcal{E}, \mathcal{R})G=(E,R)表示一个知识图谱，包含实体集E \mathcal{E}E和关系集R \mathcal{R}R。我们用V \mathcal{V}V表示知识图谱中的节点集，即V = E ∪ R \mathcal{V} = \mathcal{E} \cup \mathcal{R}V=E∪R。邻接矩阵A = { a u v } ∈ { 0 , 1 } ∣ V ∣ × ∣ V ∣ \mathbf{A} = {a_{uv}} \in {0, 1}^{|\mathcal{V}| \times |\mathcal{V}|}A={auv }∈{0,1}∣V∣×∣V∣表示节点间的连接关系。

使用Triple2Seq的上下文子图采样

为了解决全图输入的限制，研究者提出了Triple2Seq方法，使用上下文子图作为输入序列来编码局部结构信息。上下文子图τ G \tau_{\mathcal{G}}τG 包含中心三元组τ c \tau_{\mathcal{c}}τc 和其周围的邻域三元组集合τ c o n t e x t \tau_{\mathcal{context}}τcontext ：

τ G = τ c ∪ τ c o n t e x t \tau_{\mathcal{G}} = \tau_{\mathcal{c}} \cup \tau_{\mathcal{context}}τG =τc ∪τcontext

其中，τ c o n t e x t = { τ ∣ τ i ∈ N } \tau_{\mathcal{context}} = {\tau | \tau_i \in \mathcal{N}}τcontext ={τ∣τi ∈N}，N \mathcal{N}N是中心三元组τ c \tau_{\mathcal{c}}τc 的固定大小邻域三元组集合。为了更好地捕获局部结构特征，研究者在训练期间使用动态采样策略，并为每个epoch中的同一中心三元组随机选择多个上下文子图。

结构增强自注意力

为保留上下文子图中重要的结构信息，研究者提出了结构增强自注意力机制。通过注意力偏置ϕ ( i , j ) \phi(i, j)ϕ(i,j)来捕获节点对之间的结构信息：

a i j = ( h i W Q ) ( h j W K ) d + ϕ ( i , j ) a_{ij} = \frac{(h_iW_Q)(h_jW_K)}{\sqrt{d}} + \phi(i, j)aij =d (hi WQ )(hj WK ) +ϕ(i,j)

其中，ϕ ( i , j ) = f s t r u c t u r e ( A ~ 1 , A ~ 2 , . . . , A ~ m ) \phi(i, j) = f_{structure} \left( \tilde{\mathbf{A}}^1, \tilde{\mathbf{A}}^2, ..., \tilde{\mathbf{A}}^m \right)ϕ(i,j)=fstructure (A~~1,A~~2,...,A~~m)，A ~ \tilde{\mathbf{A}}A~~是规范化的邻接矩阵，W Q W_QWQ 和W K W_KWK 是Transformer模块中的Query-Key矩阵。

掩蔽知识建模

受掩蔽语言建模启发，研究者提出了掩蔽知识建模机制。给定一个上下文子图节点序列τ G \tau_{\mathcal{G}}τG ，随机掩蔽中心三元组中的标记，然后预测这些被掩蔽的标记。具体来说，被掩蔽的中心三元组将分别是关系预测任务中的头实体或尾实体。掩蔽知识建模的任务是在给定掩蔽节点序列τ M \tau_{\mathcal{M}}τM 和上下文子图结构A G \mathbf{A}_{\mathcal{G}}AG 的情况下，预测三元组τ \tauτ缺失的部分：

R e l p h o r m e r ( M A S K ( τ G ) , A G ) → A Relphormer(MASK(\tau_{\mathcal{G}}),\mathbf{A}_{\mathcal{G}})\rightarrow \mathcal{A}Relphormer(MASK(τG ),AG )→A

其中Y ∈ R ∣ E ∣ + ∣ R ∣ \mathcal{Y} \in \mathbb{R}^{|\mathcal{E}| + |\mathcal{R}|}Y∈R∣E∣+∣R∣。