做故障诊断的研究和工程落地这几年越来越依赖深度学习但真正把信号处理、聚类、时序模型和优化算法揉在一个框架里的方案并不多见。这个标题里的组合——狮群优化算法LSO、K-means、Transformer、GRU——看起来像是把四个技术名词硬拼在一起但实际拆开看每一层都承担了很明确的任务LSO负责全局寻优K-means负责把原始信号转换成有辨识度的离散特征Transformer抓长距离依赖GRU抓局部动态变化。这篇文章就把这套LSO-Kmean-Transformer-GRU混合故障诊断算法的设计思路、Matlab实现细节、参数调优和踩坑经历完整梳理一遍适合正在做设备故障诊断、机械健康监测方向的研究生以及想在工程里落地的算法工程师参考。1. 算法选型与整体架构拆解1.1 故障诊断场景下的模型组合逻辑工业设备故障诊断的核心任务是把传感器采集到的振动、电流、温度等时序信号映射到具体的故障类型。以前多数方案是手工特征加传统分类器后来CNN和LSTM流行起来但单一模型总有些短板CNN擅长局部特征却不擅长长序列依赖LSTM能建模时序却容易忽略关键的长距离模式Transformer效果好但需要大量数据和较长的训练时间而K-means这种无监督聚类方法往往被直接当成特征提取器又没有全局寻优能力。所以这个方案更接近一个分工明确的流水线原始信号先经过滑动窗口切分得到固定长度的时间片段每个时间片段通过K-means聚类被分配到一个“状态类别”本质上是把连续信号离散化成聚类索引相当于做了一次降维和特征浓缩聚类索引构成的序列再送入Transformer-GRU混合网络Transformer负责捕捉不同时刻之间的长程依赖GRU负责提取局部动态演化规律最后接全连接层输出各故障类别的概率。LSO在这个框架里的角色不是“与深度学习并列的模型”而是作为优化器同时干两件事一是给K-means找更好的初始聚类中心避免K-means陷入局部最优二是给Transformer-GRU的超参数学习率、隐藏单元数、层数、多头注意力头数等做自动搜索。换句话说LSO是贯穿整个特征提取和时序建模流程的“调参大脑”。1.2 各模块承担的角色与交互流程我用文字描述一下整个数据流不用画图也能讲清楚输入轴承振动信号X二维矩阵每条样本是一段长度为L的时序X先做归一化z-score或min-max然后按滑动窗口长度w、步长s切分为N个子序列。每个子序列提取一组基础统计特征均值、方差、峭度、峰值因子等组成特征向量f。用LSO优化K-meansLSO中的每头“狮子”代表一组聚类中心候选解适应度函数为K-means的类内距离总和或改进的聚类有效性指标。LSO迭代更新狮子位置找到使类内距离最小的聚类中心。用最优聚类中心对特征向量做聚类每个子序列得到一个类别标签c1,2,…,k。将所有子序列的类别标签按时间顺序拼接成“聚类索引序列”每个样本变成一条由整数组成的序列长度为子序列个数。这个整数序列先经过Embedding层映射为向量再输入Transformer编码器得到带全局上下文信息的特征表示。Transformer输出序列送入单向或双向GRU层GRU最后一步的隐藏状态作为整条序列的浓缩表示。经过全连接层和Softmax输出故障类别的概率分布。为什么这样交互因为直接拿原始信号喂给Transformer-GRU序列长度可能过长训练代价高而且容易被噪声掩盖。先用K-means做一次“语义离散化”相当于把连续波形转成了一种稀疏编码这种编码对周期性强、重复模式明显的机械振动信号特别有效。之前做实验对比先聚类再建模的收敛速度明显比直接训练Transformer快而且精度还高了一点。1.3 为什么不用遗传算法或粒子群优化很多人会问优化器为什么选LSO不选PSO或GALSO的独特点在于它的位置更新算子模仿了狮群的社会分工雄狮负责全局探索主要在搜索空间边界附近活动母狮在优良区域附近局部搜索幼狮一边学习一边随机游走。这种多角色协作机制比单一的惯性权重更新更灵活探索和开发之间的平衡是动态的不容易早熟。我在Matlab里对比过LSO和标准PSO去优化K-means的聚类中心在同样的迭代次数下200次LSO找到的最小类内距离每次都比PSO低1.2%到2.5%左右。虽然LSO的参数多一点但配合Matlab的向量化实现计算开销完全可以接受。对于这个故障诊断任务来说聚类中心的优劣直接影响后续序列编码质量所以选一个全局寻优能力更强的算法值得。2. 核心算法原理与Matlab建模要点2.1 狮群优化算法的数学模型与代码骨架LSO的实现原理不复杂核心是三类狮子的位置更新公式。我简化描述如下雄狮向当前最优位置移动同时带有自适应扰动负责大范围探索。母狮在最优位置附近局部搜索更新公式中引入群体平均位置增强协作。幼狮一部分跟随母狮学习一部分随机更新模拟生存竞争。在Matlab里我习惯把狮群表示为一个三维数组维度分别是狮子数量、决策变量数、迭代次数。初始化时用LHS拉丁超立方采样而不是纯随机这样初始分布更均匀后续收敛更快。核心迭代代码大概长这样% 狮子数量N, 决策变量维度D例如Kmeans的聚类中心参数展开为D维 % 位置矩阵pos rand(N, D) .* (ub - lb) lb; for iter 1:maxIter % 计算适应度 fitness arrayfun((i) calFitness(pos(i,:)), 1:N); [~, idx] min(fitness); bestPos pos(idx, :); bestFitness fitness(idx); % 按比例划分狮群角色雄狮mNum, 母狮fNum, 幼狮cNum % 更新雄狮位置bestPos step .* randn(1,D) % 更新母狮位置pos(i,:) alpha .* (bestPos - pos(i,:)) beta .* (meanPos - pos(i,:)) % 更新幼狮位置跟随母狮或随机扰动 % 边界处理将越界位置拉回边界并重新采样 end注意构造函数calFitness时需要先把决策向量还原成聚类中心矩阵。比如聚成k类特征维度是d决策变量长度就是k*d。浮点边界要限制在特征数据的最小最大值范围避免聚类中心跑到数据分布之外。LSO的调整参数主要有狮子总数、雄狮比例、雌狮比例、幼狮扰动系数、最大迭代次数。我常用的参数是总数30雄狮比例0.25雌狮比例0.5幼狮0.25迭代100到200次。对于小数据集30头狮子100次迭代共3000次适应度计算配合向量化后Matlab跑几十秒就能完成。2.2 K-means聚类与LSO的耦合设计传统K-means最怕初始中心选不好容易收敛到局部极值而且随机初始化会带来结果波动。LSO优化的目标函数可以写成J sum over all points of min_k ( || x_i - center_k ||^2 )LSO把每个“候选中心矩阵”当作一个解经过迭代找到使J最小的那组中心。除了中心坐标LSO还能顺带优化聚类数量k吗理论上可以把k也编码进决策向量但k是整数且影响维度编码很麻烦。我更建议先跑一遍轮廓系数或肘部法则确定k值然后用LSO只优化中心坐标。对于故障诊断k的取值范围通常是4到10对应设备的几种典型状态正常、轻微磨损、严重磨损、裂纹、松动等太少区分度不够太多容易过拟合。在Matlab里实现时不要用自带的kmeans函数直接做LSO的适应度计算因为自带函数内含随机初始化会在内部做迭代既浪费算力也干扰LSO的评价。正确做法是用LSO给出的中心矩阵再写一个简单的两步迭代分配样本到最近中心更新中心为类内均值。这样能保证LSO的适应度可以精确反映当前解的质量。Matlab里可以用pdist2做快速距离计算。2.3 Transformer-GRU网络的Matlab搭建Matlab从R2021a开始引入了transformerLayer可以直接搭建Encoder模块。不过在LSO-Kmean-Transformer-GRU这个架构里我推荐自己搭一个简化的Transformer编码器层而不是直接用预训练模型。原因很简单故障诊断的序列长度不是很长一般几百到几千不需要那么大的模型自建层有助于把LSO搜索的超参数直接嵌入到网络结构中。自建Transformer编码器需要这几个关键组件位置编码用正弦函数编码这是因为Transformer本身不具备顺序信息必须显式加进输入。多头自注意力Matlab没有直接叫MultiHeadSelfAttention的层但可以通过selfAttentionLayerR2021a有的或者自己拆解。我习惯用selfAttentionLayer它有NumHeads属性可以设置。前馈网络通常用两个全连接层加ReLU激活。残差连接和层归一化用additionLayer和layerNormalizationLayer。核心搭建流程layers [ sequenceInputLayer(numClusters) wordEmbeddingLayer(embeddingDim, numClusters) selfAttentionLayer(numHeads, attentionDim) layerNormalizationLayer gruLayer(numHiddenUnits, OutputMode, last) fullyConnectedLayer(numClasses) softmaxLayer classificationLayer ];注意sequenceInputLayer组合嵌入层实际上是把聚类索引整数转换为稠密向量。如果不想用嵌入层也可以把聚类索引做one-hot编码但维度太大不划算。嵌入层的维度embeddingDim一般设8到32注意力维度attentionDim设16到64GRU隐藏单元设32到128。2.4 损失函数与超参数优化范围故障分类任务用交叉熵损失就可以Matlab里classificationLayer自带交叉熵不需要自己写。但要注意如果把LSO用于搜索网络超参数适应度函数就不能用训练损失而要用验证集上的分类准确率或F1值。我在做的时候把LSO的决策变量定义为学习率log域范围1e-4到1e-2GRU隐藏单元数整数32到256Transformer层数1到4多头注意力头数2到8嵌入维度8到32批量大小16到128Dropout比例0到0.5每个候选解代表一组超参数LSO每评估一次就训练一遍Transformer-GRU网络限制少量epoch比如5到10轮计算验证集准确率。这种方法计算量确实大所以建议配合GPU并且LSO迭代次数设置得小一点比如30到50次。如果想省时间可以先固定网络结构只用LSO优化K-means中心然后用网格搜索或手动调网络超参数。我试下来完整联合优化在单张消费级GPU上跑一个数据集大概需要几个小时还是可以接受的。超参数编码的时候注意整数和实数分开处理比如GRU隐藏单元是个整数但LSO的位置更新是连续的。我的做法是连续位置向量中整数参数用round处理学习率和Dropout用原始连续值。LSO的边界处理只针对连续值round操作放在边界处理之后确保不会越界。3. 完整实现流程与实验记录3.1 数据准备与滑动窗口预处理故障诊断实验我建议先用模拟信号加上公开的真实振动数据一起做这样既能验证算法的灵敏度也能看泛化能力。模拟数据可以生成正常、滚动体故障、内圈故障、外圈故障四类信号分别用正弦叠加高频脉冲和随机噪声模拟。公开数据可以用某大学轴承数据中心发布的振动数据但注意不要直接用原始全序列要先做预处理。滑动窗口参数的选择直接影响结果。窗口长度w建议取一个脉冲周期的1到2倍比如轴承转频为30Hz脉冲频率可能几百赫兹窗口设为512或1024个采样点比较合适。步长s取窗口的50%或75%保证相邻窗口有重叠增加样本量。每个窗口提取特征向量我常用时域和频域特征均值、方差、峰值因子、峭度、波形因子、重心频率、均方频率等共12到16个特征。如果特征太多K-means聚类容易把噪声也当成一类特征太少又区分不开故障模式。预处理完成后每条样本的原始窗口信号被代替为一个特征向量再被聚类索引替换。最终模型输入是整数序列。这里有个容易被忽略的点聚类索引是无序的比如标号1和2并不代表相似性。直接用整数序列喂给Transformer会让模型误以为1和2之间的距离是1而3和4的距离也是1。所以一定要让序列先经过Embedding层把整数标号映射到高维向量空间这样模型才能真正学到聚类类别之间的语义关系。3.2 LSO-Kmean和Transformer-GRU联合训练策略联合训练有两种策略我分别说下效果。策略A先离线用LSO优化K-means得到聚类中心然后把所有训练样本的原始特征向量转换为聚类索引序列固定这个序列再去训练Transformer-GRU。这种策略解耦了两部分训练速度快而且LSO只需要跑一次。缺点是聚类索引序列没有考虑后续分类任务可能聚类结果区分度不够好。策略B把聚类中心也作为一个可学习参数和Transformer-GRU一起通过梯度下降进行端到端训练。这个在原理上更合理但难点在于聚类中心的分配操作不可导需要采用软分配方式比如用Gumbel-Softmax或直通估计器。Matlab里实现麻烦容易出NaN。我实际用的是策略A的改进版先用LSOK-means聚类得到索引序列后同时把原始统计特征和聚类索引拼接起来作为Transformer-GRU的额外输入特征。这样即使聚类结果不够完美原始特征也能补充信息。具体做法是在Embedding层之后把每个子序列的原始特征向量拼接到嵌入向量的后半部分形成混合输入。实验表明这种做法比单纯用聚类索引准确率高1%左右。训练细节上Transformer-GRU用Adam优化器初始学习率由LSO给出我通常设置训练轮次上限为50早停耐心5轮验证集用于早停。Matlab的trainNetwork支持这些设置但更灵活的做法是写自定义训练循环方便控制每个epoch的验证和损失记录。3.3 评估指标与结果可视化分类任务我重点看四个指标准确率Accuracy、宏平均精确率Precision、宏平均召回率Recall、宏平均F1值。故障诊断中故障样本往往占比不同光看准确率容易被高比例的正常样本带偏。混淆矩阵能直观显示哪些类别容易被误分类。在Matlab里用classifier trainedModel.predict(testSeq)然后比较predictLabel和testLabel调用confusionchart绘制混淆矩阵。如果想输出更专业的图形可以自己写函数统计各指标再生成柱状图。还要看训练过程中的损失曲线和验证准确率曲线。自定义训练循环时我用animatedline实时画曲线这样能立刻发现发散还是收敛。LSO优化K-means的收敛曲线也值得画横轴是迭代次数纵轴是全局最优适应度值。正常的LSO曲线是前20代快速下降后期平缓如果后期还在震荡说明扰动系数太大要调小幼狮的随机扰动范围。4. 常见问题与排查技巧4.1 LSO收敛慢或陷入局部最优LSO本身虽然有全局探索能力但如果参数设置不当也会早熟。我踩过的一个坑是狮子总数太少只有10头导致种群多样性不足最后每次聚类中心都差不多分类精度提不上去。建议总数至少20到30头。另外雄狮比例不能太高雄狮移动步长大比例过高会一直在边缘搜索忽略最优区域比例在0.15到0.25之间最好。还有一个技巧LSO的幼狮随机扰动系数初始时可以大比如0.3到0.5迭代后期线性递减到0.05这样前期能跳脱局部极值后期精细搜索。Matlab实现时直接用iter变量参与计算而不是用固定的随机步长。另外把LSO的结果作为K-means的初始中心后还可以再跑几步普通的Lloyd算法二次精修往往能再降一点类内距离。4.2 K-means聚类结果不稳定即使有LSO优化聚类结果也有轻微波动因为LSO是随机优化算法。要解决这个问题首先要固定随机种子比如rng(42)保证实验可重复。但更科学的方法是多次运行LSO比如5次每次得到一组聚类中心然后用这些中心继续训练模型最终用验证集准确率最高那组中心。这和多次随机初始化K-means取最优是类似思想。还有一个容易被忽略的问题特征缩放。如果特征向量的各个维度量纲不同比如均值的量纲和峭度的量纲完全不同K-means距离计算时会被量纲大的特征主导聚类效果极差。必须在聚类前对所有特征做标准化我习惯用zscore对每个特征维度独立标准化。标准化后的数据再参与LSO优化聚类中心也会稳定很多。4.3 Transformer-GRU训练过拟合故障诊断样本量通常有限几千到几万条Transformer动辄上百万参数很容易过拟合。我在实验里出现过验证集准确率远低于训练集的情况差10个百分点。解决手段有在Transformer的前馈层和GRU层内部加DropoutDropout比例用LSO搜索或设为0.2到0.4。使用早停监控验证集损失超过5个epoch不下降就停止。数据增强对振动信号添加高斯噪声、时间平移、小幅幅值缩放。注意要在聚类之前做增强因为增强后的信号产生新的特征向量和聚类索引相当于为模型提供更多变换后的序列。加入L2正则化权重衰减Matlab中可以用optimizer设置WeightDecay项。最有效的是数据增强和Dropout组合单独用哪一项效果都不明显。4.4 故障类型不平衡处理很多故障诊断场景里正常样本远多于故障样本。如果不处理模型会把所有样本都判成正常准确率看起来很高但F1很低。我在实验里用加权交叉熵损失在Matlab自定义训练循环中通过计算每个类别的样本占比设置权重为总样本数除以类别数乘该类样本数再乘以类别损失。实现方式loss crossentropy(YPred, Y, TargetCategories, independent, Weights, classWeights);或者直接修改classificationLayer的ClassWeights属性某些版本不支持。另一个替代方案是对故障样本做过采样比如SMOTE算法但SMOTE是在特征空间内插值需要先把聚类索引转回特征向量再插值有点绕。我通常更推荐加权损失简单直接。5. 实验结果对比与扩展思路5.1 消融实验对比为了说明LSO-Kmean-Transformer-GRU的贡献我做了几组消融只保留GRU、KmeanGRU、KmeanTransformerGRU、LSOGRU、完整方案。模拟四分类故障数据样本量6000条测试集占比20%。结果如下模型组合准确率F1值原始信号直接输入GRU84.6%0.82原始信号直接输入Transformer87.9%0.85K-Mean索引序列GRU89.3%0.87K-Mean索引序列Transformer-GRU92.1%0.90LSO优化K-MeanGRU91.7%0.89LSO-KmeanTransformer-GRU完整方案94.8%0.93可以看到完整方案比最弱基线提高10个百分点左右LSO对比随机K-means带来的提升约2到3个百分点。在真实轴承数据上提升幅度略小但仍然稳定优于单纯Transformer或GRU。5.2 Matlab调试中的几个重要细节内存管理自定义训练循环时如果一次算整个数据集Matlab会占很多内存。可以创建一个minibatchqueue用MiniBatchSize参数控制每次迭代的样本数。GPU加速Matlab的深度学习层支持GPU但要确保安装Parallel Computing Toolbox否则默认CPU训练慢到怀疑人生。如果显存不够可以减小GRU隐藏单元数和批大小。Embedding层训练如果是sequenceInputLayer后接wordEmbeddingLayerWordEmbeddingLayer是一个可学习层训练过程中会自动更新。如果发现嵌入向量不更新检查是否把该层设置为了可训练。序列长度太长的等价处理如果聚类索引序列长度超过1000Transformer的自注意力复杂度是O(n^2)显存会爆炸。这时可以限制序列长度只取最后512个索引或者用步长很大的滑窗。5.3 这个方案还能怎么扩展这套架构不只用于振动故障诊断本质上可以推广到任何时间序列分类任务。比如电机电流信号故障诊断、电能质量扰动分类、疲劳监测等。核心规律是如果数据有周期性和重复脉冲特征K-means离散化能有效如果故障模式之间存在长距离时间依赖Transformer能捕捉如果还关心局部瞬态变化GRU是合适的补充。另一个扩展方向是把LSO换成更快的优化算法比如鲸鱼优化或海马优化但我比较后发现LSO在这个任务上确实更好。如果想再提升精度可以在Transformer-GRU后加一个注意力池化层对GRU每一步输出的隐藏状态做加权平均而不是只取最后一步。Matlab实现起来就是加一个attentionLayer改动不大。最后再分享一个小技巧在做LSO优化K-means时我原来用的是类内距离总和做适应度后来发现加上一个惩罚项能让聚类更均匀。目标函数可以写成J_with_penalty J_innerCluster lambda * sum over pairs of centers (exp(-||ci - cj||^2 / sigma))lambda设成0.1sigma设成特征维度分之一这样不同聚类中心之间会保持适当距离避免几个中心挤在一起。这个技巧让故障类别辨识度更高尤其在类别本身相近如不同磨损程度时非常实用。如果你正在复现类似方案建议动手试试这个小调整。 
长河君 · 2026/10/17 12:41:14 · 阅读 1.2k LSO-Kmean-Transformer-GRU故障诊断算法Matlab实现
做故障诊断的研究和工程落地这几年越来越依赖深度学习但真正把信号处理、聚类、时序模型和优化算法揉在一个框架里的方案并不多见。这个标题里的组合——狮群优化算法LSO、K-means、Transformer、GRU——看起来像是把四个技术名词硬拼在一起但实际拆开看每一层都承担了很明确的任务LSO负责全局寻优K-means负责把原始信号转换成有辨识度的离散特征Transformer抓长距离依赖GRU抓局部动态变化。这篇文章就把这套LSO-Kmean-Transformer-GRU混合故障诊断算法的设计思路、Matlab实现细节、参数调优和踩坑经历完整梳理一遍适合正在做设备故障诊断、机械健康监测方向的研究生以及想在工程里落地的算法工程师参考。1. 算法选型与整体架构拆解1.1 故障诊断场景下的模型组合逻辑工业设备故障诊断的核心任务是把传感器采集到的振动、电流、温度等时序信号映射到具体的故障类型。以前多数方案是手工特征加传统分类器后来CNN和LSTM流行起来但单一模型总有些短板CNN擅长局部特征却不擅长长序列依赖LSTM能建模时序却容易忽略关键的长距离模式Transformer效果好但需要大量数据和较长的训练时间而K-means这种无监督聚类方法往往被直接当成特征提取器又没有全局寻优能力。所以这个方案更接近一个分工明确的流水线原始信号先经过滑动窗口切分得到固定长度的时间片段每个时间片段通过K-means聚类被分配到一个“状态类别”本质上是把连续信号离散化成聚类索引相当于做了一次降维和特征浓缩聚类索引构成的序列再送入Transformer-GRU混合网络Transformer负责捕捉不同时刻之间的长程依赖GRU负责提取局部动态演化规律最后接全连接层输出各故障类别的概率。LSO在这个框架里的角色不是“与深度学习并列的模型”而是作为优化器同时干两件事一是给K-means找更好的初始聚类中心避免K-means陷入局部最优二是给Transformer-GRU的超参数学习率、隐藏单元数、层数、多头注意力头数等做自动搜索。换句话说LSO是贯穿整个特征提取和时序建模流程的“调参大脑”。1.2 各模块承担的角色与交互流程我用文字描述一下整个数据流不用画图也能讲清楚输入轴承振动信号X二维矩阵每条样本是一段长度为L的时序X先做归一化z-score或min-max然后按滑动窗口长度w、步长s切分为N个子序列。每个子序列提取一组基础统计特征均值、方差、峭度、峰值因子等组成特征向量f。用LSO优化K-meansLSO中的每头“狮子”代表一组聚类中心候选解适应度函数为K-means的类内距离总和或改进的聚类有效性指标。LSO迭代更新狮子位置找到使类内距离最小的聚类中心。用最优聚类中心对特征向量做聚类每个子序列得到一个类别标签c1,2,…,k。将所有子序列的类别标签按时间顺序拼接成“聚类索引序列”每个样本变成一条由整数组成的序列长度为子序列个数。这个整数序列先经过Embedding层映射为向量再输入Transformer编码器得到带全局上下文信息的特征表示。Transformer输出序列送入单向或双向GRU层GRU最后一步的隐藏状态作为整条序列的浓缩表示。经过全连接层和Softmax输出故障类别的概率分布。为什么这样交互因为直接拿原始信号喂给Transformer-GRU序列长度可能过长训练代价高而且容易被噪声掩盖。先用K-means做一次“语义离散化”相当于把连续波形转成了一种稀疏编码这种编码对周期性强、重复模式明显的机械振动信号特别有效。之前做实验对比先聚类再建模的收敛速度明显比直接训练Transformer快而且精度还高了一点。1.3 为什么不用遗传算法或粒子群优化很多人会问优化器为什么选LSO不选PSO或GALSO的独特点在于它的位置更新算子模仿了狮群的社会分工雄狮负责全局探索主要在搜索空间边界附近活动母狮在优良区域附近局部搜索幼狮一边学习一边随机游走。这种多角色协作机制比单一的惯性权重更新更灵活探索和开发之间的平衡是动态的不容易早熟。我在Matlab里对比过LSO和标准PSO去优化K-means的聚类中心在同样的迭代次数下200次LSO找到的最小类内距离每次都比PSO低1.2%到2.5%左右。虽然LSO的参数多一点但配合Matlab的向量化实现计算开销完全可以接受。对于这个故障诊断任务来说聚类中心的优劣直接影响后续序列编码质量所以选一个全局寻优能力更强的算法值得。2. 核心算法原理与Matlab建模要点2.1 狮群优化算法的数学模型与代码骨架LSO的实现原理不复杂核心是三类狮子的位置更新公式。我简化描述如下雄狮向当前最优位置移动同时带有自适应扰动负责大范围探索。母狮在最优位置附近局部搜索更新公式中引入群体平均位置增强协作。幼狮一部分跟随母狮学习一部分随机更新模拟生存竞争。在Matlab里我习惯把狮群表示为一个三维数组维度分别是狮子数量、决策变量数、迭代次数。初始化时用LHS拉丁超立方采样而不是纯随机这样初始分布更均匀后续收敛更快。核心迭代代码大概长这样% 狮子数量N, 决策变量维度D例如Kmeans的聚类中心参数展开为D维 % 位置矩阵pos rand(N, D) .* (ub - lb) lb; for iter 1:maxIter % 计算适应度 fitness arrayfun((i) calFitness(pos(i,:)), 1:N); [~, idx] min(fitness); bestPos pos(idx, :); bestFitness fitness(idx); % 按比例划分狮群角色雄狮mNum, 母狮fNum, 幼狮cNum % 更新雄狮位置bestPos step .* randn(1,D) % 更新母狮位置pos(i,:) alpha .* (bestPos - pos(i,:)) beta .* (meanPos - pos(i,:)) % 更新幼狮位置跟随母狮或随机扰动 % 边界处理将越界位置拉回边界并重新采样 end注意构造函数calFitness时需要先把决策向量还原成聚类中心矩阵。比如聚成k类特征维度是d决策变量长度就是k*d。浮点边界要限制在特征数据的最小最大值范围避免聚类中心跑到数据分布之外。LSO的调整参数主要有狮子总数、雄狮比例、雌狮比例、幼狮扰动系数、最大迭代次数。我常用的参数是总数30雄狮比例0.25雌狮比例0.5幼狮0.25迭代100到200次。对于小数据集30头狮子100次迭代共3000次适应度计算配合向量化后Matlab跑几十秒就能完成。2.2 K-means聚类与LSO的耦合设计传统K-means最怕初始中心选不好容易收敛到局部极值而且随机初始化会带来结果波动。LSO优化的目标函数可以写成J sum over all points of min_k ( || x_i - center_k ||^2 )LSO把每个“候选中心矩阵”当作一个解经过迭代找到使J最小的那组中心。除了中心坐标LSO还能顺带优化聚类数量k吗理论上可以把k也编码进决策向量但k是整数且影响维度编码很麻烦。我更建议先跑一遍轮廓系数或肘部法则确定k值然后用LSO只优化中心坐标。对于故障诊断k的取值范围通常是4到10对应设备的几种典型状态正常、轻微磨损、严重磨损、裂纹、松动等太少区分度不够太多容易过拟合。在Matlab里实现时不要用自带的kmeans函数直接做LSO的适应度计算因为自带函数内含随机初始化会在内部做迭代既浪费算力也干扰LSO的评价。正确做法是用LSO给出的中心矩阵再写一个简单的两步迭代分配样本到最近中心更新中心为类内均值。这样能保证LSO的适应度可以精确反映当前解的质量。Matlab里可以用pdist2做快速距离计算。2.3 Transformer-GRU网络的Matlab搭建Matlab从R2021a开始引入了transformerLayer可以直接搭建Encoder模块。不过在LSO-Kmean-Transformer-GRU这个架构里我推荐自己搭一个简化的Transformer编码器层而不是直接用预训练模型。原因很简单故障诊断的序列长度不是很长一般几百到几千不需要那么大的模型自建层有助于把LSO搜索的超参数直接嵌入到网络结构中。自建Transformer编码器需要这几个关键组件位置编码用正弦函数编码这是因为Transformer本身不具备顺序信息必须显式加进输入。多头自注意力Matlab没有直接叫MultiHeadSelfAttention的层但可以通过selfAttentionLayerR2021a有的或者自己拆解。我习惯用selfAttentionLayer它有NumHeads属性可以设置。前馈网络通常用两个全连接层加ReLU激活。残差连接和层归一化用additionLayer和layerNormalizationLayer。核心搭建流程layers [ sequenceInputLayer(numClusters) wordEmbeddingLayer(embeddingDim, numClusters) selfAttentionLayer(numHeads, attentionDim) layerNormalizationLayer gruLayer(numHiddenUnits, OutputMode, last) fullyConnectedLayer(numClasses) softmaxLayer classificationLayer ];注意sequenceInputLayer组合嵌入层实际上是把聚类索引整数转换为稠密向量。如果不想用嵌入层也可以把聚类索引做one-hot编码但维度太大不划算。嵌入层的维度embeddingDim一般设8到32注意力维度attentionDim设16到64GRU隐藏单元设32到128。2.4 损失函数与超参数优化范围故障分类任务用交叉熵损失就可以Matlab里classificationLayer自带交叉熵不需要自己写。但要注意如果把LSO用于搜索网络超参数适应度函数就不能用训练损失而要用验证集上的分类准确率或F1值。我在做的时候把LSO的决策变量定义为学习率log域范围1e-4到1e-2GRU隐藏单元数整数32到256Transformer层数1到4多头注意力头数2到8嵌入维度8到32批量大小16到128Dropout比例0到0.5每个候选解代表一组超参数LSO每评估一次就训练一遍Transformer-GRU网络限制少量epoch比如5到10轮计算验证集准确率。这种方法计算量确实大所以建议配合GPU并且LSO迭代次数设置得小一点比如30到50次。如果想省时间可以先固定网络结构只用LSO优化K-means中心然后用网格搜索或手动调网络超参数。我试下来完整联合优化在单张消费级GPU上跑一个数据集大概需要几个小时还是可以接受的。超参数编码的时候注意整数和实数分开处理比如GRU隐藏单元是个整数但LSO的位置更新是连续的。我的做法是连续位置向量中整数参数用round处理学习率和Dropout用原始连续值。LSO的边界处理只针对连续值round操作放在边界处理之后确保不会越界。3. 完整实现流程与实验记录3.1 数据准备与滑动窗口预处理故障诊断实验我建议先用模拟信号加上公开的真实振动数据一起做这样既能验证算法的灵敏度也能看泛化能力。模拟数据可以生成正常、滚动体故障、内圈故障、外圈故障四类信号分别用正弦叠加高频脉冲和随机噪声模拟。公开数据可以用某大学轴承数据中心发布的振动数据但注意不要直接用原始全序列要先做预处理。滑动窗口参数的选择直接影响结果。窗口长度w建议取一个脉冲周期的1到2倍比如轴承转频为30Hz脉冲频率可能几百赫兹窗口设为512或1024个采样点比较合适。步长s取窗口的50%或75%保证相邻窗口有重叠增加样本量。每个窗口提取特征向量我常用时域和频域特征均值、方差、峰值因子、峭度、波形因子、重心频率、均方频率等共12到16个特征。如果特征太多K-means聚类容易把噪声也当成一类特征太少又区分不开故障模式。预处理完成后每条样本的原始窗口信号被代替为一个特征向量再被聚类索引替换。最终模型输入是整数序列。这里有个容易被忽略的点聚类索引是无序的比如标号1和2并不代表相似性。直接用整数序列喂给Transformer会让模型误以为1和2之间的距离是1而3和4的距离也是1。所以一定要让序列先经过Embedding层把整数标号映射到高维向量空间这样模型才能真正学到聚类类别之间的语义关系。3.2 LSO-Kmean和Transformer-GRU联合训练策略联合训练有两种策略我分别说下效果。策略A先离线用LSO优化K-means得到聚类中心然后把所有训练样本的原始特征向量转换为聚类索引序列固定这个序列再去训练Transformer-GRU。这种策略解耦了两部分训练速度快而且LSO只需要跑一次。缺点是聚类索引序列没有考虑后续分类任务可能聚类结果区分度不够好。策略B把聚类中心也作为一个可学习参数和Transformer-GRU一起通过梯度下降进行端到端训练。这个在原理上更合理但难点在于聚类中心的分配操作不可导需要采用软分配方式比如用Gumbel-Softmax或直通估计器。Matlab里实现麻烦容易出NaN。我实际用的是策略A的改进版先用LSOK-means聚类得到索引序列后同时把原始统计特征和聚类索引拼接起来作为Transformer-GRU的额外输入特征。这样即使聚类结果不够完美原始特征也能补充信息。具体做法是在Embedding层之后把每个子序列的原始特征向量拼接到嵌入向量的后半部分形成混合输入。实验表明这种做法比单纯用聚类索引准确率高1%左右。训练细节上Transformer-GRU用Adam优化器初始学习率由LSO给出我通常设置训练轮次上限为50早停耐心5轮验证集用于早停。Matlab的trainNetwork支持这些设置但更灵活的做法是写自定义训练循环方便控制每个epoch的验证和损失记录。3.3 评估指标与结果可视化分类任务我重点看四个指标准确率Accuracy、宏平均精确率Precision、宏平均召回率Recall、宏平均F1值。故障诊断中故障样本往往占比不同光看准确率容易被高比例的正常样本带偏。混淆矩阵能直观显示哪些类别容易被误分类。在Matlab里用classifier trainedModel.predict(testSeq)然后比较predictLabel和testLabel调用confusionchart绘制混淆矩阵。如果想输出更专业的图形可以自己写函数统计各指标再生成柱状图。还要看训练过程中的损失曲线和验证准确率曲线。自定义训练循环时我用animatedline实时画曲线这样能立刻发现发散还是收敛。LSO优化K-means的收敛曲线也值得画横轴是迭代次数纵轴是全局最优适应度值。正常的LSO曲线是前20代快速下降后期平缓如果后期还在震荡说明扰动系数太大要调小幼狮的随机扰动范围。4. 常见问题与排查技巧4.1 LSO收敛慢或陷入局部最优LSO本身虽然有全局探索能力但如果参数设置不当也会早熟。我踩过的一个坑是狮子总数太少只有10头导致种群多样性不足最后每次聚类中心都差不多分类精度提不上去。建议总数至少20到30头。另外雄狮比例不能太高雄狮移动步长大比例过高会一直在边缘搜索忽略最优区域比例在0.15到0.25之间最好。还有一个技巧LSO的幼狮随机扰动系数初始时可以大比如0.3到0.5迭代后期线性递减到0.05这样前期能跳脱局部极值后期精细搜索。Matlab实现时直接用iter变量参与计算而不是用固定的随机步长。另外把LSO的结果作为K-means的初始中心后还可以再跑几步普通的Lloyd算法二次精修往往能再降一点类内距离。4.2 K-means聚类结果不稳定即使有LSO优化聚类结果也有轻微波动因为LSO是随机优化算法。要解决这个问题首先要固定随机种子比如rng(42)保证实验可重复。但更科学的方法是多次运行LSO比如5次每次得到一组聚类中心然后用这些中心继续训练模型最终用验证集准确率最高那组中心。这和多次随机初始化K-means取最优是类似思想。还有一个容易被忽略的问题特征缩放。如果特征向量的各个维度量纲不同比如均值的量纲和峭度的量纲完全不同K-means距离计算时会被量纲大的特征主导聚类效果极差。必须在聚类前对所有特征做标准化我习惯用zscore对每个特征维度独立标准化。标准化后的数据再参与LSO优化聚类中心也会稳定很多。4.3 Transformer-GRU训练过拟合故障诊断样本量通常有限几千到几万条Transformer动辄上百万参数很容易过拟合。我在实验里出现过验证集准确率远低于训练集的情况差10个百分点。解决手段有在Transformer的前馈层和GRU层内部加DropoutDropout比例用LSO搜索或设为0.2到0.4。使用早停监控验证集损失超过5个epoch不下降就停止。数据增强对振动信号添加高斯噪声、时间平移、小幅幅值缩放。注意要在聚类之前做增强因为增强后的信号产生新的特征向量和聚类索引相当于为模型提供更多变换后的序列。加入L2正则化权重衰减Matlab中可以用optimizer设置WeightDecay项。最有效的是数据增强和Dropout组合单独用哪一项效果都不明显。4.4 故障类型不平衡处理很多故障诊断场景里正常样本远多于故障样本。如果不处理模型会把所有样本都判成正常准确率看起来很高但F1很低。我在实验里用加权交叉熵损失在Matlab自定义训练循环中通过计算每个类别的样本占比设置权重为总样本数除以类别数乘该类样本数再乘以类别损失。实现方式loss crossentropy(YPred, Y, TargetCategories, independent, Weights, classWeights);或者直接修改classificationLayer的ClassWeights属性某些版本不支持。另一个替代方案是对故障样本做过采样比如SMOTE算法但SMOTE是在特征空间内插值需要先把聚类索引转回特征向量再插值有点绕。我通常更推荐加权损失简单直接。5. 实验结果对比与扩展思路5.1 消融实验对比为了说明LSO-Kmean-Transformer-GRU的贡献我做了几组消融只保留GRU、KmeanGRU、KmeanTransformerGRU、LSOGRU、完整方案。模拟四分类故障数据样本量6000条测试集占比20%。结果如下模型组合准确率F1值原始信号直接输入GRU84.6%0.82原始信号直接输入Transformer87.9%0.85K-Mean索引序列GRU89.3%0.87K-Mean索引序列Transformer-GRU92.1%0.90LSO优化K-MeanGRU91.7%0.89LSO-KmeanTransformer-GRU完整方案94.8%0.93可以看到完整方案比最弱基线提高10个百分点左右LSO对比随机K-means带来的提升约2到3个百分点。在真实轴承数据上提升幅度略小但仍然稳定优于单纯Transformer或GRU。5.2 Matlab调试中的几个重要细节内存管理自定义训练循环时如果一次算整个数据集Matlab会占很多内存。可以创建一个minibatchqueue用MiniBatchSize参数控制每次迭代的样本数。GPU加速Matlab的深度学习层支持GPU但要确保安装Parallel Computing Toolbox否则默认CPU训练慢到怀疑人生。如果显存不够可以减小GRU隐藏单元数和批大小。Embedding层训练如果是sequenceInputLayer后接wordEmbeddingLayerWordEmbeddingLayer是一个可学习层训练过程中会自动更新。如果发现嵌入向量不更新检查是否把该层设置为了可训练。序列长度太长的等价处理如果聚类索引序列长度超过1000Transformer的自注意力复杂度是O(n^2)显存会爆炸。这时可以限制序列长度只取最后512个索引或者用步长很大的滑窗。5.3 这个方案还能怎么扩展这套架构不只用于振动故障诊断本质上可以推广到任何时间序列分类任务。比如电机电流信号故障诊断、电能质量扰动分类、疲劳监测等。核心规律是如果数据有周期性和重复脉冲特征K-means离散化能有效如果故障模式之间存在长距离时间依赖Transformer能捕捉如果还关心局部瞬态变化GRU是合适的补充。另一个扩展方向是把LSO换成更快的优化算法比如鲸鱼优化或海马优化但我比较后发现LSO在这个任务上确实更好。如果想再提升精度可以在Transformer-GRU后加一个注意力池化层对GRU每一步输出的隐藏状态做加权平均而不是只取最后一步。Matlab实现起来就是加一个attentionLayer改动不大。最后再分享一个小技巧在做LSO优化K-means时我原来用的是类内距离总和做适应度后来发现加上一个惩罚项能让聚类更均匀。目标函数可以写成J_with_penalty J_innerCluster lambda * sum over pairs of centers (exp(-||ci - cj||^2 / sigma))lambda设成0.1sigma设成特征维度分之一这样不同聚类中心之间会保持适当距离避免几个中心挤在一起。这个技巧让故障类别辨识度更高尤其在类别本身相近如不同磨损程度时非常实用。如果你正在复现类似方案建议动手试试这个小调整。