IEEE TII | 多模态知识图谱在滚动轴承故障诊断中的创新应用
IEEE TII | 多模态知识图谱在滚动轴承故障诊断中的创新应用
在当代工业中，滚动轴承故障诊断是一个至关重要的研究领域。传统的故障诊断方法往往将复合故障视为独立事件，忽视了不同故障之间的相互关系，这限制了在诊断具有多样语义复杂性的故障时的性能。为了解决这一问题，IEEE Transactions on Industrial Informatics期刊上发表了一篇关于基于多模态知识图谱（MKG）的轴承故障诊断方法的研究论文。
研究背景与挑战
在现代工业应用中，轴承作为关键部件被广泛使用，其故障可能导致巨大的经济损失和人身伤亡。因此，故障诊断在保障工业设备安全中至关重要。尽管当前的故障诊断算法取得了一定进展，但它们往往孤立处理故障属性，并在处理复合故障时面临诸多挑战。这导致了分类准确性的下降，并限制了诊断方法在复杂故障场景中的有效性。
该方法解决的主要问题包括：
- 属性孤立性：现有算法通常将不同故障属性视为独立，忽视了它们之间的相互作用，这在复杂故障情境中影响了诊断效果。
- 样本收集困难：随着故障标签数量的增加，收集足够的样本变得更加困难，进一步影响分类的准确性。
- 知识图谱应用不足：尽管知识图谱在多个领域展现了潜力，但现有研究主要依赖文本数据，未能充分利用传感器收集的多模态数据，导致关键信息的缺失。
- 推理能力未充分利用：以往的研究多将知识图谱用于信息检索和可视化，而未充分发挥其推理能力来提升故障诊断的精度。
方法创新点
创新的故障诊断方法：以往研究忽视了属性关系，并通过为复合故障分配新标签来忽视故障类型之间的相互作用。提出了一种利用多模态知识图谱（MKG）进行轴承故障诊断的新方法。通过知识图谱补全技术捕捉不同故障类型之间的内在关系，促进对具有相似故障类型的故障值和实体的推理。这一方法在轴承故障诊断中具有重要的探索潜力。
推理能力的应用：在以往研究中，知识图谱（KG）仅在故障诊断中起到可视化的作用，而提出的方法则利用了KG的推理能力。它直接将振动信号作为节点来构建KG。在数据层，节点整合来自传感器的多模态数据，如时间序列和频谱图，丰富了它们的表示，并提供了轴承运行状态的整体视图，提升了KG的嵌入质量和故障诊断的精度。
KG补全模型设计：设计了一种基于关系级联图注意网络（GAT）的KG补全模型，结合了节点级和层级注意机制，以便在多种关系下为不同邻居和不同阶域邻居分配权重，促进信息聚合。提出的模型在七个故障诊断数据集上的准确性优于多个基线模型。
方法论概述
多模态知识图谱（MKG）与传统知识图谱（KG）类似，是一种用于表示和存储现实世界知识的图结构。它由表示实体或值的节点和表示关系或语义关联的边组成，通常以三元组的形式组织。目前的知识表示方法优先考虑关系三元组，而忽视了属性三元组。关系三元组传达实体之间的语义链接，而属性三元组则详细描述实体的属性，因此，区分这两者是至关重要的。因此，本文采用了包含实体、属性和关系的知识表示学习（KR-EAR）。KG包括关系三元组（实体、关系、实体）和属性三元组（实体、属性、值）。节点包含实体和值，而边则涵盖关系和属性。与传统KG不同，MKG不仅整合了文本数据的信息，还来自各种传感器和感知视角，为解释实体特征增添了多维度。MKG的构建过程包括知识提取、知识表示和融合。此外，由于MKG的内在不完整性，即特定节点或连接的缺失，因此需要采用MKG补全（MKGC）技术来进行推理。
本文将滚动轴承故障诊断转化为多模态知识图谱补全（MKGC）任务。整体框架如图2所示。图2将整体框架分为两部分：构建多模态知识图谱（MKG）和利用MKGC进行预测。构建过程包括知识提取和多模态融合，而预测过程涉及编码-解码框架。
基于信号的MKG构建方法
振动信号是轴承运行状态的重要指标。因此，直接从信号中进行知识提取。MKG的构建遵循语义规则。构建MKG的算法如算法1所示。
如算法1所示，初始阶段采用滑动窗口采样，其中每一步滑动窗口都将信号数据封装为一个独立的实体。具体而言，定义了窗口大小，将滑动窗口放置在信号数据的起始位置，并提取与指定窗口长度对应的数据。随后，按照预定的步长移动窗口，迭代执行此过程，直到窗口遍历整个时间序列。为了利用来自不同模态的信息，将来自N个传感器的振动信号预处理为两种模态：数值时间序列和经验模态分解（EMD）图像。因此，每个实体具有2N个模态表示。图像进一步通过GoogLeNet处理为向量表示。采用低秩矩阵分解（LMF）方法，将来自各种模态的信息整合为有效的表示，表示为e（偏置b在下文中省略）：
和en2分别表示模态的向量表示。因此，节点e表示为，其是img1模态的第k个分解因子，其他w遵循类似模式。◦表示Hadamard乘积。
接下来，按照“知识提取”章节中提供的示例，提出的方法涉及将故障类型属性提取为属性，将故障类型值提取为值，并将实体之间的语义关系提取为关系，这些表示通过与Bert的预训练获得。在此过程中，由于故障类型值的数量可控，因此不需要复杂的自动化提取技术。由行业专家进行手动提取的任务不繁重，且能确保高精度。因此，采用了一种知识提取方法，由领域专家直接审阅数据集描述文本。
在知识提取和应用语义规则后，构建了一个基于信号的多模态知识图谱（MKG）。图3展示了使用Neo4j图数据库可视化的局部图。在该图中，紫色节点代表实体，指向它们的实心箭头表示关系，橙色节点象征值，指向它们的实心箭头表示相应的属性。由于名称过长而无法完全显示，节点使用ID进行表示。
基于MKGC的故障诊断
MKGC的目标是预测候选三元组对MKG正确的概率。该方法可应用于基于信号的轴承故障MKG进行故障诊断。现有的技术目前忽略了不同阶域的不同重要性。提出了一种基于RCGAT模型的方法来解决这一问题。故障诊断流程图如图4所示。
在图4中，通过输入构建的多模态知识图谱（MKG）作为G和超参数来启动该过程。这些超参数的含义在“超参数分析”部分中进行了阐述。随后，数据集被划分，参数被初始化。在此步骤之后，G中的节点进行多模态融合，然后输入到关系级联图注意网络（RCGAT）中。在RCGAT中，应用节点级和层级注意机制进行有效编码。最后，使用卷积二维知识图谱嵌入（ConvE）进行解码和候选分数计算；该过程以评估指标和损失的计算结束，并执行多次迭代进行更新。
尽管多模态融合有效利用了节点固有的多模态信息，但在聚合邻居信息方面仍然存在不足。为提高准确性，引入了RCGAT，它通过节点级注意机制具备自适应聚合邻居信息的能力。值得注意的是，与仅关注单阶邻居的RGAT不同，RCGAT通过层级注意机制整合多阶邻居信息。这种双重注意机制使模型能够有效捕捉图的拓扑结构，同时保留节点的内在特征。节点级注意机制促进了局部信息的聚合，而层级注意机制则适应不同阶层的邻居信息组合，并缓解了过平滑问题。这一方法展示了处理图数据的灵活全面的方法，从而有助于增强图表示学习。RCGAT的结构如图5所示。
在图5中，蓝色节点表示实体，粉色节点表示值，蓝色节点之间的连线表示关系，而连接蓝色和粉色节点的线则表示属性。在图中，节点e由实体和值的拼接形成，而边r则由关系和属性的拼接组成。
总结与思考
在推荐的论文中，为了捕捉振动信号与各种故障之间的结构和语义信息，通过从多个轴承振动信号数据集中进行知识提取和多模态融合构建了多模态知识图谱（MKG），并提出了一种基于RCGAT+ConvE的MKGC故障诊断方法，以通过考虑节点级和层级邻居权重分配来预测未知的故障知识。与几种基线模型相比，提出的方法表现出更优的性能。然而，基于振动信号构建MKG并将其应用于故障诊断的提案仅进行了初步探索，仍有进一步改进的空间。由于数据收集的挑战和硬件限制，提出的的MKG仅包含来自七个公开可用数据集的数据。此外，在多模态数据收集方面，仅使用了频谱图和时间序列数据。纳入实时图像和视频数据可能会增强模型的表达能力。因此，基于MKGC的故障诊断方法在拥有丰富数据的情况下有潜力带来更显著的收益。