利用可解释性技术增强制造质量预测模型

概述

论文地址：https://arxiv.org/abs/2403.18731
本研究提出了一种利用可解释性技术提高机器学习（ML）模型性能的方法。该方法已用于铣削质量预测，这一过程首先训练 ML 模型，然后使用可解释性技术识别不需要的特征并去除它们，以提高准确性。这种方法有望降低制造成本，提高对 ML 模型的理解。这项研究表明，可解释性技术可用于优化和解释制造业的预测模型。

介绍

铣削是一种加工工艺，通过去除材料来加工出所需的形状或表面光洁度。在这一过程中，被称为铣刀的切削工具高速旋转，在移动工件的同时去除材料。工件固定在一个可以多轴移动的工作台上，可以进行各种方向和角度的加工（Fertig 等人，2022 年）。铣削过程中的能耗会因设置和材料的不同而有很大差异，但通常被认为是一种能源密集型工艺。如果能预测和预防质量问题，就能降低能耗，减少因生产缺陷零件而造成的浪费（Pawar 等人，2021 年）。

机器学习（ML）模型可以识别数据中的模式和结构，并在不受程序直接指导的情况下进行预测。这些模型是预测铣削操作最终质量的有用工具，可以提高制造过程的效率和可靠性（Mundada 和 Narala，2018 年）。然而，铣削操作的实验数据非常昂贵，因此可用数据往往很少，难以训练 ML 模型来预测工件质量（Postel 等人，2020 年）。

此外，在使用复杂的 ML 模型（尤其是深度神经网络模型）时，其内部运作是不透明的，其 "黑箱 "性质可能会造成问题。出现这一问题的原因是这些模型的预测结果难以理解，因此无法被制粉质量预测领域的从业人员和利益相关者完全理解（Kwon 等人，2023 年）。

本研究提出了一种利用可解释性方法来阐明和优化 ML 模型预测机制，从而提高 ML 模型性能的方法。通过使用可解释性方法，可以识别 ML 模型预测中的重要特征并消除不必要的特征，从而有效推进优化工作（Bento 等人，2021 年；Sun 等人，2022 年）。

方法论

本研究提出了一种利用可解释性技术提高机器学习（ML）模型性能的方法，具体步骤如下。

1. 训练 ML 模型

首先，使用给定的数据集训练 ML 模型。本研究使用了三种模型：决策树回归、梯度提升回归和随机森林回归。与神经网络相比，这些模型需要的数据更少，也更容易解释。

2. 可解释性方法的应用

将可解释性方法应用于训练好的 ML 模型和数据集，以确定对预测准确性至关重要的特征。这一步骤包括对特征的重要性进行排序，并使用越来越多的重要特征来训练新模型。

3. 特征选择

根据特征的重要性，只使用最重要的特征来训练新模型。这一过程可提高 ML 模型的性能。

机器学习模型

决策树回归模型

决策树回归模型将输入空间划分为不同的区域，并对每个区域内的训练样本拟合一个简单的模型（通常为常数）。对新输入𝑥 x 的预测 𝑦^表示如下。

其中，𝑐𝑚cm 是拟合区域 𝑅𝑚R m的常数，𝑀 M 是区域数量，𝐼 ⋅I⋅ 是指标函数。

梯度提升回归模型

梯度提升回归模型结合了多个弱模型来优化损失函数。从初始近似值F0(x)开始，通过添加弱模型hmx(x)对其进行如下更新。

其中，𝛼 α 是学习率，hm(x) 是弱学习器，用于纠正前一个模型中的错误。

𝐹𝑚(𝑥)=𝐹𝑚-1(𝑥)+𝛼⋅타𝑚(𝑥)

随机森林回归模型

随机森林回归模型通过训练多棵决策树并取其平均值来做出最终预测。

新输入数据𝑥x � �最终预测结果表达如下

其中，𝑇 T 是树的总数，yt(x)𝑦𝑡(𝑥) 是第 t 棵树的预测值。

𝑦^(𝑥)=1𝑇∑𝑡=1𝑇𝑦𝑡(𝑥)

可解释性技术

特征的排列重要性

特征置换重要性是一种评估模型重要特征的问责方法。它通过随机替换某些特征并监测模型性能的变化来衡量每个特征的重要性。

夏普利值

夏普利值源于合作博弈论，根据每个参与者的边际贡献分配公平值。在机器学习模型中，它量化了每个特征对预测的贡献。

案例研究

本研究使用 ENSAM 生成的数据集来应用所提出的方法。详情如下。

目标

本案例研究的目的是为每个质量指标开发一个预测模型。这不仅包括训练模型，还包括明确预测结果的原因，以及识别和删除不需要的特征。这一步骤旨在通过减少冗余传感器、优化资源和降低成本，最大限度地降低安装和维护成本。

图 1：用于加工工件的铣床

数据预处理

由于本研究处理的是时间序列长度不固定的数据，因此对每个时间序列都计算了方框图值。此外，数据集中的元数据包含各种实验参数。

训练机器学习模型

在本研究中，对决策树回归、梯度提升回归和随机森林模型进行了训练，以预测每个质量指标。模型输入和输出的整体视图如图 2 所示。每个模型的训练都采用了五部分交叉验证法。这种方法将数据分成五个相等的部分，其中四个部分（80%）用于训练，其余一个部分（20%）用于每次迭代测试。这一过程重复五次，五部分中的每一部分都作为测试集。对模型的性能取五次迭代的平均值，以得出更可靠的评估结果。

图 2：ML 预测模型接收箱形图（时域和频域）和机器配置参数，并输出质量指标。

分析

对所提出的方法进行了分析。首先评估了 ML 模型的性能，然后分析了 ML 模型的预测机制，最后评估了去除特征对 ML 模型性能的影响。

评估模型的预测质量

本研究旨在评估梯度提升回归、决策树和随机森林这三种 ML 模型的预测准确性。评估预测质量的主要指标是平均绝对误差率（MAPE）。如果 MAPE 小于 5%，则认为预测质量较高。

设置：使用 100 个样本的预处理数据集。
运行：在预处理数据集上训练了梯度提升回归、决策树和随机森林三种不同的机器学习模型，并使用 k 分割交叉验证法测量了 MAPE。
研究结果：利用这些 ML 技术，我们能够利用一套完整的质量特征对 Rdq 进行预测，误差率低于 5%。具体来说，梯度提升回归模型的误差率为 4.58%，随机森林模型的误差率为 4.88%。

了解 ML 模型的预测机制

研究评估了每个属性在预测质量指标方面的重要性。

设置：侧重于梯度提升回归模型，这些模型在训练后表现出最佳性能。
运行：应用特征的排列重要性和 Shapley 值。
发现：我们发现不同的解释方法显示出不同的原因。例如，与夏普利值相比，排列特征重要性突出显示 fa_ts_max 是更重要的特征（见图 3）。

图 3：使用 FPI（特征排列重要性排列）和 SHAP（夏普利值）方法对 Rdqmaxmean 预测的特征重要性等级进行可视化展示。

提高性能

本实验探索了将可解释性方法整合到 ML 模型开发过程中以提高模型性能的可能性。

设置：ML 模型中的变量根据特征的重要性从高到低进行分类，每次试验都要训练一个新的模型，并改变顶级特征的比例（p）。
运行：尝试只使用重要特征来提高模型的性能。
研究结果：通过将最重要的特征整合到训练数据集中，ML 模型的性能得到了提高。例如，只选择排列重要性最高的 20% 的最重要特征，MAPE 就从约 4.58 提高到了 4.4。

图 4：在 Rdq 预测中根据不同方法使用不同比例的最重要特征。

讨论

本案例研究展示了可解释机器学习（ML）方法对制造质量预测模型的益处。可解释性分数（如特征重要性）用于解释每个特征与模型预测能力的相关性。人类专家可以利用这种解释来分析训练有素的模型，并验证重要性高的特征是否对预测任务有意义。

ML 模型可以揭示输入特征与预测目标之间的新关系，但在质量预测环境中，由于缺乏数据，过度依赖某些特征可能会成为学习错误相关性的指标。可解释性方法可以作为模型验证和人工检查的工具。

此外，研究还表明，可以通过去除低级特征来改进模型。具体来说，如图 4 所示，只保留最重要的特征就能提高模型的准确性。这种方法不仅提高了预测的准确性，还减少了预测所需的传感器数量，从而降低了预测的计算成本。在生产过程中进行实时质量预测以检测潜在缺陷和偏离计划的情况时，重要的是要尽量减少预测所需的时间并提高预测频率。

在设计生产原型机时，同样重要的是在早期阶段对预测模型进行评估，以确定机器的最终传感器组。虽然原型机配备了许多传感器，但只有在对预测模型进行评估后，才会选择相关的传感器。

此外，使用简单且可解释的模型（Breiman，2001 年；Rudin 等人，2022 年）可能有利于制造业质量预测模型的开发。然而，简单性和准确性之间存在权衡（奥卡姆困境）：模型越简单，准确性就越低。在案例研究中，简单决策树与更复杂的梯度提升树和随机森林之间的误差差异也体现了这种权衡。使用可解释性技术减少特征数量再次降低了模型的复杂性，并使最终模型更具可解释性。