【第十九章：Sentosa_DSML社区版-机器学习之模型评估】

19.1 评估

19.2 混淆矩阵

19.3 ROC-AUC

19.4 时间序列模型评估

【第十九章：Sentosa_DSML社区版-机器学习之模型评估】

19.1 评估

1.算子介绍

评估算子(EvaluationNode) 用于评估用当前数据训练出来的模型的正确性，显示对模型各个评价指标的具体值，方便用户对生成的模型有一个确切了解。评估算子无参数设置。

2.算子类型

机器学习/模型评估算子

3.算子属性说明

评估算子无属性

4.算子使用介绍

（1）算子的运行

评估算子用在部分建模算子的模型后用来对模型进行各个指标评估。以逻辑回归分类算子为例，评估算子的用法如图。

评估算子

在模型后接评估算子，右击评估算子点击“运行”后运行算子流，得到决策树分类器模型的评估结果

逻辑回归分类器模型的评估结果

分类算法、回归算法和聚类算法的评估指标如表所示，各类算法的评估指标

算法分类	测量类型	测量类型说明	评估意义
分类算法	f1	调和平均值	越大越好
	weightedPrecision	精确率	越大越好
	weightedRecall	召回率	越大越好
	accuracy	准确率	越大越好
回归算法	rmse	均方根误差	越小越好
	mse	均方误差	越小越好
	r2	决定系数	越大越好
	mae	平均绝对误差	越小越好
	mape	平均绝对百分比误差	越小越好
	smape	对称平均绝对百分比误差	越小越好
聚类算法	silhouette	轮廓系数	越大越好

19.2 混淆矩阵

1.算子介绍

混淆矩阵算子(ConfusionMatrixNode) 用于展示分类算子分类结果的混淆矩阵，方便用户对分类结果进行评估。混淆矩阵算子无参数设置。

2.算子类型

机器学习/模型评估算子

3.算子属性说明

混淆矩阵算子无属性

4.算子使用介绍

（1）算子的运行

混淆矩阵算子用在分类建模算子的模型后用来显示分类结果(训练集、验证集、测试集)的混淆矩阵。以逻辑回归算子为例，混淆矩阵算子的用法如图所示

混淆矩阵算子

在模型后接混淆矩阵算子，右击混淆矩阵算子点击“运行”后运行算子流，得到逻辑回归模型的混淆矩阵

逻辑回归模型的混淆矩阵

19.3 ROC-AUC

1.算子介绍

ROC-AUC算子(ROCAUCNode) 用在分类模型后，用于评估当前数据训练出来的分类模型的正确性，显示分类结果的ROC曲线和AUC值，方便用户对模型的分类效果进行评估。ROC-AUC算子无参数设置。

2.算子类型

机器学习/模型评估算子

3.算子属性说明

ROC-AUC算子无属性

4.算子使用介绍

（1）算子的运行

ROC-AUC评估算子用在部分分类建模算子的模型后用来绘制分类结果的ROC曲线和显示AUC值。ROC-AUC算子只能用在输出含有分类概率列的分类算子后。以逻辑回归分类算子为例，ROC-AUC评估算子的用法如图所示

ROC-AUC评估算子

在模型后接ROC-AUC评估算子，右击ROC-AUC评估算子点击“运行”后运行算子流，得到逻辑回归分类器分类结果的ROC曲线

逻辑回归分类器模型分类结果ROC曲线

AUC越大，表明模型效果越好。二分类将会输出两个图形。训练集，测试集，验证集的ROC曲线分开展示。

19.4 时间序列模型评估

1.算子介绍

通过时间序列模型评估算子对经过时间序列预测后的数据集进行指标评估

2.算子类型

时间序列模型评估算子属于模型评估算子

3.算子属性说明

时间序列模型评估算子算子无参数

4.算子使用介绍

（1）算子的运行

时间序列模型评估算子为模型评估算子，无属性参数；具体使用如下：通过数据读入算子读取数据，经过中间算子处理后连接时间序列算子，最后连接时间序列模型评估算子形成算子流执行

时间序列模型评估算子算子流示例

运行结果如下图所示

结果示例

为了非商业用途的科研学者、研究人员及开发者提供学习、交流及实践机器学习技术，推出了一款轻量化且完全免费的Sentosa_DSML社区版。以轻量化一键安装、平台免费使用、视频教学和社区论坛服务为主要特点，能够与其他数据科学家和机器学习爱好者交流心得，分享经验和解决问题。文章最后附上官网链接，感兴趣工具的可以直接下载使用

Sentosa_DSML社区版官网