摘要：针对单一传感器数据在转动部件故障诊断中的局限性，提出了一种基于多模态数据的故障诊断方法。该方法充分利用不同模态数据间的互补性，将多通道信号同时输入网络，旨在全面表征转动部件的运行状况。为提升故障特征的提取能力，设计了一种融合注意力机制和残差结构的特征提取模块，不仅保留了残差网络深度特征提取的优势，还通过嵌入注意力机制，增强了模型对关键信息的敏感度。因此，模型能够更准确地捕捉多通道输入信号中的关键且互补的故障特征。通过融合不同通道的故障特征，实现了对转动部件故障的精确识别。实验结果表明，在公开数据集上，所提模型的诊断精度达到了99.80%，相比单模态数据输入的故障诊断模型，提升了3.69%，验证了该模型在转动部件故障诊断中的有效性。

　　关键词：转动部件；故障诊断；多模态数据；注意力机制；残差网络结构

　　0引言

　　转动件作为高端智能装备核心机械的核心部件，在机械系统中占据着至关重要的地位。它们负责传递动力、维持机械运动，是确保整个设备正常运行的关键所在。转动件的健康状态直接关系到机械设备的安全性和稳定性，一旦转动件出现故障，不仅会影响机械设备的性能，还可能引发严重的生产事故。因此，准确地诊断转动件的健康状态对确保机械设备的安全运行具有极其重要的意义[1-2]。

　　随着传感器技术的不断发展，卷积神经网络被众多学者应用到机械故障诊断领域[3-5]。例如，Xue等[6]利用1D-CNN和2D-CNN并行多通道结构从振动信号中提取深度故障特征，实现不错的诊断效果。Zhang等[7]提出一种基于深度卷积神经网络的多模型集成深度学习方法，可以有效地提取原始高维振动信号包含的故障特征，并采用Softmax分类器，获得了可靠的诊断结果。Cheng等[8]将振动信号连续小波变换形成的时频图作为卷积神经网络的输入，实现了滚动轴承故障诊断。Hasan等[9]提出一种基于声发射信号的声谱图像（Acoustic Spectral Imaging，ASI）故障诊断模型，ASI将加窗时域声发射信号的频谱分量振幅转换为声谱图，并利用CNN进行特征提取，提高了轴承故障诊断精度。Gundewar等[10]获取了从自主开发的实验装置和西储大学的轴承数据集的振动信号，进行了7种时频变换，并将变换的图像输入到CNN网络，获得了很好的故障诊断效果。陈超等[11]将一维卷积神经网络与门控循环单元相结合，提取振动信号中时序和空间特征，提高了轴承故障诊断的稳定性。Li‐ang等[12]以轴承的振动信号作为输入，提出一种具有残差连接的一维膨胀卷积网络，可以诊断不同噪声环境和不同荷载域下滚动轴承的故障。许子非等[13]提出多尺度卷积神经网络，以一维轴承诊断信号为输入，开发了一种端到端的故障诊断系统。

　　利用基于卷积神经网络的故障诊断模型能有效挖掘机械设备运行数据中的特征，提高故障诊断模型的准确率。然而，现有的大多数故障诊断模型仅从单一传感器数据中提取故障特征，但在实际操作中，单一传感器信息采集能力有限且易受外界环境干扰[14]。因此，仅依赖单一传感器的数据提取的故障特征往往难以全面、准确地反映设备真实状态[15-17]。

　　基于此，本文提出了一种创新的基于多模态数据的故障诊断方法，旨在全面、准确地识别转动部件的故障状态。该方法的核心在于充分利用多模态数据的互补性，通过融合不同模态的信息，提升故障识别的精度和可靠性。首先，该方法将不同模态的数据作为多通道信号同时输入到网络中。避免单一模态数据可能存在的信息缺失或误导。其次，为了从多通道信号中提取出关键且互补的故障特征，本文设计了一种融合注意力机制和残差结构的特征提取模块。注意力机制能够动态地改变权重分配，使模型更加关注有用的、关键的特征，而对其他不相关的特征则给予较低的关注度[18-19]。将注意力机制嵌入到残差块中，则能够进一步发挥残差结构在深度特征提取方面的优势。最后，通过将不同通道的故障特征进行融合。该方法可以获取全面的故障特征信息，从而实现对转动部件故障的准确识别。这种融合策略充分利用了多模态数据之间的互补性，提高了故障诊断的准确性和可靠性。

　　1模型构建

　　如图1所示为基于多模态数据的故障诊断模型架构，该模型由多个输入通道构成，根据实际情况可灵活调整通道数，因此所建的诊断模型具有很好的拓展性。在本章中，模型被设置为双通道输入，通过提取不同输入通道中互补且关键的故障特征，从而实现故障的准确识别。

　　首先，利用卷积-池化模块对输入多模态数据进行处理，以提取浅层的局部特征。接着，这些特征经过融合了注意力机制和残差结构的特征提取模块进行深层次的提炼和加强，从而实现对多通道输入信号中关键且互补的故障特征的获取。然后，将不同通道的故障特征通过concatenate（）函数进行融合，以获取全面的故障特征信息。最后，将融合后的故障特征传递到分类模块，实现故障的准确识别。其中，分类模块主要由两个独立连接的全连接层以及输出层构成，在两个全连接层中添加了Dropout。Dropout是一种在神经网络中常用的技术，它以一定比例随机将神经元置0。在网络中加入Dropout有助于缓解模型的过拟合现象，并加快模型的训练速度。输出层则是采用Softmax函数，其通常用于多分类问题，它将神经网络的输出转化为各个类别的概率分布，实现对目标值的预测。

　　2融合注意力机制和残差结构的特征提取模块设计

　　2.1残差注意力模块设计

　　图1中的特征提取模块的主干网络采用模块化设计，每一条通道都由3个级联的残差注意力模块构成，其中残差注意力模块设计如图2所示，主体部分采用“两头宽中间窄”的瓶颈结构设计，中间的k代表着不同的卷积核大小。在网络中，3个1×1卷积层分别有不同的作用：前面的1×1卷积用于降低输入特征的维度并引入非线性，有助于减少后续操作的计算量；后面的1×1卷积则用于恢复特征的维度以匹配瓶颈结构的输入维度，便于进行元素级的相加操作；而上方的1×1卷积用于实现残差的恒等映射。此外，在所提残差注意力模块中的卷积层之前加入BN层，有助于减少模型对输入数据分布的敏感性，从而减轻过拟合；加入激活函数ReLU则增强了模型的非线性，有助于捕捉更复杂的特征模式。并且，在残差注意力模块中，引入了通道注意力模块和空间注意力模块。通道注意力模块主要用于评估每个通道的重要性，并据此调整通道的特征响应，而空间注意力模块主要用于捕捉关键特征的空间位置，以此来描述特征之间的空间相关性。

　　2.2注意力模块设计

　　图3为注意力模块基本结构，由通道注意力和空间注意力模块构成。通过通道注意力模块和空间注意力模块，可以动态地调整不同通道的贡献，并分配不同的权重给特征图中不同位置的信息，使得模型能够更好地捕获多模态特征之间的相关性和互补性。

　　首先，通过最大池化和平均池化这两种池化操作将高维的输入特征转换与通道数量相同的一维全局特征向量Fax和Fvg。其次，将这两个特征向量合并成一维向量输入两个串联的卷积层中，卷积层1接受合并后的向量，将其映射到一个较小的维度上，卷积层2则是将卷积层1的输出映射回与原始通道数相同的维度，经过卷积操作后，得到一个与原始通道数相同的新全局特征向量F′ax和Fg。最后，F′ax和Fg逐元素相加并经过Sigmoid激活函数得到通道注意力权重系数，计算表达式如式（1）所示：

　　式中：W0∈RC/r×C和W1∈RC×C/r均为卷积层的权重参数；σ(⋅)为激活函数。

　　输入特征Fc经过通道注意力模块构建出通道权重系数Mc∈RC×1，得到中间特征F′计算公式：

　　式中：⊗表示逐元素点乘。

　　将中间特征输入到空间注意力模块，空间注意力模块主要由池化层、卷积层以及激活函数组成。首先，通过最大池化层和平均池化层沿特征通道轴方向，对特征F′进行空间上的汇聚，生成两组特征向量Fax∈R1×L和Fvg∈R1×L。其次，将这两个特征向量串联拼接得到一个新的特征向量，并将这个新的特征向量输入到卷积层中，进行卷积操作。接着，应用Sigmoid激活函数对卷积输出进行非线性变换得到空间注意力权重系数Ms，如式（3）所示。

　　式中：Convk=7(⋅)表示卷积运算，卷积核的大小为7。

　　最后将经过空间注意力模块构建出来的空间权重系数Ms∈R1×L，最终得到融合特征Ff如式（4）所示。

　　Ff=Ms(F′)⊗F′（4）

　　3实验部分

　　3.1数据集介绍

　　本文利用Paderbon[20]轴承数据集来模拟注塑机转动件的运行场景，数据集包含真实轴承损伤（通过加速寿命试验获取）在4种工况条件下的运行数据以及6种健康轴承数据。并且，轴承数据集提供了5种类型的信号，包括振动、电流、扭矩、力和速度。本文仅采用振动和电流信号进行模型的性能验证，振动信号是通过压电加速度计采集的，电流信号则是通过电流传感器采集的，采样频率为64 kHz，每次采样时间均为4 s，共进行了20次采样。本文选择1个健康轴承和9个真实损伤轴承在转速为1 500 r/min、负载扭矩为0.7 N，径向力为1 kN时的振动数据和电流数据作为实验数据。

　　所提模型采用双通道输入，分别从原始振动和电流信号中截取数据以构建两个数据样本集，以振动信号为例，采用1种非重叠滑动窗口的采样方法，每次采用2 048个振动信号样本点进行故障诊断，构建的样本集数据1种的每一类故障包括2 000个训练样本，500个测试样本。样本集1的详细描述见表1。对于数据样本集2的构建，本文采用同样的方法。

　　3.2实验参数与环境设置

　　（1）模型参数设置

　　根据第1章的描述，基于多模态数据的故障诊断模型的参数设置如表2所示。

　　（2）评价指标

　　为更全面地评价各方法的诊断性能，选择准确率（Accuracy）、精确值（Precision）、召回率（Recall）以及F1值作为模型评价指标，其中，准确率（Accuracy）以直观的方式反映了模型对数据的正确分类能力；精确值（Precision）能反映模型预测为故障中实际故障的比例；召回率（Recall）则是反映模型能够找到多少个真正的故障样本。它们的计算表达式如下。

　　式中：NTP为模型正确地预测为正例的样本数量、NTN为模型正确地预测为反例（或负例）的样本数量、NFP为实际为负例但被错误预测为正例的样本数量、NFN为实际为正例但被错误预测为负例的样本数量。

　　在有些情况下，随着召回率的增长，精确值的数值并不一定会逐渐增大，此时，提高召回率数值意味着会降低精确值，这两者之间会发生冲突。因此，为了平衡召回率和精确值的重要性，并综合考虑它们的性能，引入F1值作为评价指标，F1值越高，意味着分类效果越好。F1值的计算公式如式（8）所示。

　　3.3实验结果分析

　　（1）故障诊断Accuracy曲线对比

　　为了验证本文所提模型在故障诊断中的有效性，将本文模型ours和单模态数据输入（即只输入振动数据）的故障模型ours-single进行模型性能对比。图4为迭代100次后，两种模型在测试集上的准确率的迭代曲线。从图4中可以观察到，所提ours的准确率更高，并且模型收敛速度也更快，在大约迭代60次后，模型趋于稳定，准确率基本保持在99%以上，而ours-single诊断准确率基本保持在上升趋势，在迭代约75次时，模型趋于稳定，直到训练结束，模型准确率都保持在96%左右。上述结果表明，结合振动信号和电流信号的多模态输入在故障诊断中展现出更好的诊断效果。相比之下，仅依赖振动信号这一单一模态数据进行诊断，难以全面、准确地反映转动部件的运行状况。

　　（2）模型评价指标对比

　　为了进一步验证模型的性能，并确保结果的可靠性，采用五折交叉验证策略验证所提模型诊断性能。具体操作如下：首先，将总样本量N随机均匀地划分为5个子数据集；然后，依次使用其中4个字集作为训练集，剩余1个作为测试集，共进行5次。通过这种方式，每个子数据集都有机会作为测试集进行性能评估，从而获得更全面的结果。在五折交叉验证中，对每个测试集的模型性能进行评估，分别计算各个模型的准确率KAccuracy、精确值KPrecision、召回率KRecall以及F1的平均值，结果如表3所示。

　　对比表3中不同模型的评价指标，ours在所有指标上均优于ours-single，可以说明不同模态之间存在着互补的故障信息，本文设计的融合注意力机制和残差结构的特征提取模块，能有效地从多模态数据中捕获关键且互补的故障特征。从而提高故障诊断准确率。

　　（3）模型可视化分析

　　在深度学习领域，混淆矩阵作为一种可视化工具，可以展示模型在每个类别上的预测结果与实际标签的对应关系，通过混淆矩阵，可以看出模型在不同类别上的分类准确度和错误情况。

　　图5（a）、（b）分别是ours-single和ours的混淆矩阵。每个混淆矩阵中，横坐标表示预测类别标签，纵坐标表示实际类别标签。

　　混淆矩阵右侧的柱形图是该矩阵的热力图参考指标，颜色深浅反映了对应的值的大小。通过热力图，可以直观清晰地看到各个类别之间的关联和差异。从图5（a）可以观察到，ours-single模型对各类故障的准确率都有着不错的效果，但对于标签8的故障诊断准确率只有72%，28%标签8被误诊为标签7。而从图5（b）中可观察到ours对各类模型的预测准确率都高于ours-single模型，识别准确率基本维持在100%，对于标签8的识别准确率较低，但也达到了97%，比ours-single模型高出25%，这进一步证明了，仅依赖单一模态数据提取的故障特征无法全面、准确地反映设备真实状态。相比之下，本文提出的基于多模态数据的故障诊断能有效提取多模态数据之间关键且互补的故障信息，从而更加准确可靠地识别故障类别。

　　4结束语

　　本文提出了一种基于多模态数据的故障诊断方法，旨在解决单一模态数据在故障诊断中易受环境影响、信息获取不全的问题。该方法通过同时输入不同模态的数据作为多通道信号，并利用融合注意力机制和残差结构的特征提取模块对通道数据进行故障特征提取。在特征提取过程中，通过在残差块中嵌入的通道注意力和空间注意力，动态调整不同通道的贡献，以及为特征图中不同位置的信息分配不同的权重。从而有效地捕获多模态数据中关键且互补的故障特征，获取更加全面的故障特征信息。实验结果表明，本文所提方法在测试集上的诊断精度达到了99.80%，与单模态数据输入的故障诊断模型相比，提升了3.69%，证明了其在转动部件故障诊断中的有效性。

　　未来可以继续开展针对多模态数据故障诊断方法的改进和优化，进一步提升其性能和适用范围，以满足更多场景下转动部件故障诊断的需求。

　　[1]刘兆亮,颜丙生,刘春波,等.基于CEEMDAN-FastI‐CA的滚动轴承故障特征提取[J].组合机床与自动化加工技术,2021(3):61-65.

　　[2]苏红,朱勇,刘金华,等.旋转机械健康状态评估方法研究现状与展望[J].排灌机械工程学报,2024,42(3):304-318.

　　[3]葛澍,王琳,高峰,等.基于卷积神经网络的无线视频监控干扰识别算法研究[J].移动通信,2023,47(7):104-110.

　　[4]ZHANG L,WANG B,LIANG P,et al.Semi-supervised fault di‐agnosis of gearbox based on feature pre-extraction mechanism and improved generative adversarial networks under limited la‐beled samples and noise environment[J].Advanced Engineering Informatics,2023,58:102211.

　　[5]ZHU Y,PEI Y,WANG A,et al.A partial domain adaptation scheme based on weighted adversarial nets with improved CBAM for fault diagnosis of wind turbine gearbox[J].Engineering Appli‐cations of Artificial Intelligence,2023,125:106674.

　　[6]XUE F,ZHANG W,XUE F,et al.A novel intelligent fault diagno‐sis method of rolling bearing based on two-stream feature fusion convolutional neural network[J].Measurement,2021,176:109226.

　　[7]ZHANG X,HUANG T,WU B,et al.Multi-model ensemble deep learning method for intelligent fault diagnosis with high-dimen‐sional samples[J].Frontiers of Mechanical Engineering,2021,16(2):340-352.

　　[8]CHENG Y,LIN M,WU J,et al.Intelligent fault diagnosis of ro‐tating machinery based on continuous wavelet transform-local bi‐nary convolutional neural network[J].Knowledge-Based Sys‐tems,2021,216:106796.

　　[9]HASAN M J,ISLAM M M M,KIM J M.Acoustic spectral imag‐ing and transfer learning for reliable bearing fault diagnosis under variable speed conditions[J].Measurement,2019,138:620-631.

　　[10]GUNDEWAR S K,KANE P V.Bearing fault diagnosis using time segmented Fourier synchrosqueezed transform images and convolution neural network[J].Measurement,2022,203:111855.

　　[11]陈超,郭婧,屈华伟,等.基于多尺度卷积神经网络和GRU的滚动轴承故障诊断[J/OL].轴承,1-11[2024-12-09].http://kns.cnki.net/kcms/detail/41.1148.TH.20231012.1102.002.html.

　　[12]LIANG H,ZHAO X.Rolling bearing fault diagnosis based on one-dimensional dilated convolution network with residual con‐nection[J].IEEE Access,2021,9:31078-31091.

　　[13]许子非,金江涛,李春.基于多尺度卷积神经网络的滚动轴承故障诊断方法[J].振动与冲击,2021,40(18):212-220.

　　[14]刘仓,童靳于,包家汉,等.基于多传感器两级特征融合的滚动轴承故障诊断方法[J].振动与冲击,2022,41(8):199-207,259.

　　[15]WANG D,LI Y,JIA L,et al.Novel Three-Stage Feature Fusion Method of Multimodal Data for Bearing Fault Diagnosis[J].IEEE Transactions on Instrumentation and Measurement,2021,70:1-10.

　　[16]张亚洲,赵小强,惠永永,等.基于多传感器数据融合的SA-DACNN齿轮箱故障诊断方法[J].控制与决策,2024,39(11):3699-3708.

　　[17]PENG B S,XIA H,L X Z,et al.An intelligent fault diagnosis method for rotating machinery based on data fusion and deep re‐sidual neural network[J].Applied Intelligence,2022,52(3):3051-3065.

　　[18]施健聪,王兴龙,张俊.基于双重注意力机制的异步电机故障诊断方法[J].振动与冲击,2023,42(21):110-118.

　　[19]徐坤,刘征,朱维超,等.CWNT时频尺度多步噪声抑制的轴承故障诊断[J].机电工程技术,2024,53(2):8-12.

　　[20]LESSMEIER C,KIMOTHO J K,ZIMMER D,et al.Condition monitoring of bearing damage in electromechanical drive sys‐tems by using motor current signals of electric motors:A bench‐mark data set for data-driven classification[C]//Society Europe‐an Conference.Pairs:PHM,2016.