机器学习—建立表现基准

让我们来看看一些具体的数字,Jtrain和Jcv是什么,以及如何做出判断,如果学习算法具有高偏差或高方差,使用一个语音识别应用的例子作为讲解。

很多在手机上进行网络搜索的用户会使用语音识别,而不是在手机上的小键盘上打字,因为对着电话说话往往比打字快,所以网络搜索引擎得到的典型音频是这样的,语音识别算法的工作是输出文字记录,如果你训练一个语音识别系统并测量训练误差,训练误差意味着你的训练中音频片段的百分比是多少,算法不能完全正确地转录,假设这个数据集的训练误差是10.8%,意思是它完美地转录了89.2%,但在训练中犯了10.8%的错误,如果你也要测量你的语音识别算法的性能,在单独的交叉验证集中,假设它有14.8%的误差,所以如果你看看这些数字看起来训练误差真的很大,误差大然后交叉验证误差更高,但是即使你的训练设置错了十个,这似乎更高,似乎10%的误差会让你得出结论,它必须有很高的偏差,因为它在你的训练场上表现得不好,但事实证明,当分析语音识别时,同时测量另一件事,这就是人类的表现水平,换句话说,人类怎么能从这些音频片段中准确的转录语音呢?假设你测量了流利的演讲者可以转录音频剪辑,发现它是10.6%,你会发现人类水平的表现达到了10.6%的误差,为什么人为水平误差这么高?事实证明,对于网络搜索来说有很多有很多音频片段,有很多嘈杂的音频,没有人能准确地转录出所说的话,即使是人类也有10.6%的误差,那么,似乎很难指望一个学习算法做得更好,所以为了判断,如果训练误差高,事实证明,看到更有用的是,如果训练误差远高于人类的表现水平,在这个例子中,它只比人类插了0.2%,因为人类真的很擅长识别语言,如果建立一个语音识别系统能达到10.6%的误差,匹配人类的性能,所以它只是比人类做得差一点,但相比之下,Jcv和Jtrain的差距或差异要大得多,那里实际上有四个缺口,虽然之前说过可能有10.8%的误差意味着这是很高的偏差,当我们将它与人类水平性能进行基准测试时,我们看到算法实际上在训练集上做得更好,但更大的问题是交叉验证误差远小于训练误差,所以,这个算法实际上有更多的方差问题而不是偏差问题,所以在评判的时候,如果训练误差高,对于建立性能的基线水平通常很有用,以及基准性能水平,错误的程度是多少希望算法最终可以达到。

建立基准性能水平的常见方法是,来衡量人类在这项任务上做得有多好,因为人类很擅长理解语音数据或处理图像或理解文本,当你使用非结构化数据时,人类级别的性能通常是一个很好的基准,例如,音频图像或文本。另一种估计性能基线水平的方法是,是否有一些竞争算法,可能是其他人以前实现的,甚至是一个竞争性的算法来建立一个性能的基线水平,如果你可以测量的话,或者有时你可能会根据以前的经验猜测,如果你可以访问此基准性能级别,这就是你可以合理地希望达到的错误水平,或者你希望算法达到的期望性能级别是什么,评判的时候,如果算法有很高的偏差或方差,你将查看性能的基线水平和训练错误交叉验证误差,要测量的两个关键量是训练误差和你希望达到的基线水平有什么区别,所以0.2%,如果这个很大,你会说你有严重的偏见问题,然后你会看到你的训练错误之间的差距,交叉验证错误4.0%,如果这很高,那么会得出一个结论,你有一个高方差问题。

看第二个例子,如果性能的基线水平,这是人类水平的性能和训练错误,交叉验证错误,如下所示,分别是10.6%,15.0%,15.5%,第一个差距是4.4%,所以这实际上有一个很大的差距,训练误差比人类能做的和我们希望达到的要高得多,而交叉验证误差只比训练误差大一点,所以如果你的训练错误和交叉验证错误看起来像这样,这个算法有很高的偏差,所以通过观察这些数字,训练误差和交叉验证误差,可以直觉地或非正式地得到一种感觉,你的算法在多大程度上存在高偏差或高方差问题,总结一下,前两个数字之间的差距,给你一个感觉,你是否有一个高偏差问题,而这两个数字之间的差距,给你一个感觉,你是否有一个高方差问题,有时性能的基线水平可能为零,如果你的目标是达到完美的表现,那么性能的基线水平可以为0%,但对于某些应用,如语音识别应用,在那里一些音频只是嘈杂的,那么基线水平的性能可能远远高于零,就算法是否有偏差或方差而言,所以具体地说,如果你得到这样的数字,那么基线和训练误差的差距就大了,这将4.6%,训练误差与交叉验证误差的差距也很大,这是4.2%,所以如果它看起来像这样,得出结论,具有高偏差和高方差。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/17735.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

阮一峰科技爱好者周刊(第 325 期)推荐工具:一个基于 Next.js 的博客和 CMS 系统

近期,阮一峰在科技爱好者周刊第 325 期中推荐了一款开源工具——ReactPress,ReactPress一个基于 Next.js 的博客和 CMS 系统,可查看 demo站点。(fecommunity 投稿) ReactPress:一款值得推荐的开源发布平台 …

大学语文教材电子版(第十一版)教学用书PDF及课件

大学语文课件:https://caiyun.139.com/m/i?005CiDusEVWnR 《大学语文》(第十一版)主编:徐中玉 齐森华 谭帆。 大学语文教材电子版教师用书PDF第一课《齐桓晋文之事》艺术赏析: 孟子四处游说,养成善辩的…

RK356x-8:Wifi模块AP6xxx配置与调试

本文记录如何根据原理图,配置和调试RK356x(测试用RK3566)主板上wifi/蓝牙模块(测试用AP6212,rkwifibt),使其能正确连网。 1.配置SOC接口 1.1 查看原理图,看看wifi模块用的接口是什…

Java基础——网络编程

可以让设备中的程序与网络上其他设备中的程序进行数据交互(实现网络通信的)。 1. 基本的通信架构 基本的通信架构有2种形式:CS架构(Client客户端/Server服务端)、BS架构(Browser浏览器/Server服务端&…

变分自编码器(VAE, Variational Autoencoder)

代码说明 VAE 模型结构: 编码器将输入数据(如 MNIST 图像)映射到潜在空间,生成均值 (mu) 和对数方差 (logvar)。 通过重新参数化技巧 (reparameterize) 从正态分布中采样潜在向量 z。 解码器将潜在向量 z 映射回原始空间&#xf…

1. Django中的URL调度器 (项目创建与简单测试)

1. 创建 Django 项目 运行以下命令创建一个名为 blog_project 的 Django 项目: django-admin startproject blog_project2. 创建博客应用 Django 中,项目可以包含多个应用。创建一个名为 blog 的应用: cd blog_project python manage.py …

多目标优化算法:多目标黑翅鸢算法(MOBKA)求解ZDT1、ZDT2、ZDT3、ZDT4、ZDT6,提供完整MATLAB代码

一、黑翅鸢算法介绍 黑翅鸢优化算法(Black-winged Kite Algorithm, BKA)是2024年提出的一种元启发式优化算法,其灵感来源于黑翅鸢的迁徙和捕食行为。这种算法通过模拟黑翅鸢在捕食过程中的飞行和搜索策略,被用来解决优化问题&…

记一次Mysql远程连接报错

问题描述: Plugin caching sha2 password could not be loaded: 在wsl2用docker中拉取了mysql镜像,启动后想在win下的环境远程连接到docker中的mysql,报错了,报错如下所示 搜寻了相关的资料发现,在拉下来的myslq版本…

STM32F103移植FreeRTOS

1. 源码下载 在https://www.freertos.org/中下载源码,这里下载的是FreeRTOSv202212.01版本,源码内容解释可参考: https://rtos.100ask.net/zh/FreeRTOS/DShanMCU-F103/chapter7.html#_7-1-freertos%E7%9B%AE%E5%BD%95%E7%BB%93%E6%9E%84拷贝…

CAD多段线两侧偏移(交叉线容易出错)

public void 交叉多段线容易出错(){List<Curve> entse Z.db.SelectEntities<Curve>();List<Polyline> ents Z.db.CurvesToPolyLines(entse);//Z.db.SelectEntities<Polyline>();double offsetDistance 5.0;//偏移距离List<Polyline> resultP…

数据库EVA模式与传统数据库模式 | 分析对比及应用场景

目录 1. 实战场景2. 基本知识3. 应用场景 1. 实战场景 从实战进行探讨以及深入&#xff1a; 事因是同事给我创建表结构的时候&#xff0c;以如下这种方式进行创建&#xff1a; 看到这张表的结构可能会思考&#xff1a; 为啥设备的部件值&#xff08;日期、数值、字符串&…

算法【Java】—— 动态规划之简单多状态 dp 问题

按摩师 https://leetcode.cn/problems/the-masseuse-lcci 状态表示&#xff1a;根据经验和题目要求&#xff0c;达到 i 位置的时候&#xff0c;预约时间最长 接着我们细分状态表示&#xff1a;在遍历数组的时候&#xff0c;到达 i 位置的时候&#xff0c;又两种情况&#xff…

小鸡模拟器 1.8.11 | 街机怀旧重温经典游戏,支持手柄

小鸡模拟器是一款支持多种经典游戏机模拟的游戏应用&#xff0c;包括街机、索尼(SONY)、世嘉、任天堂等主流掌机游戏以及PSP、GBA、NDS、SFC(超级任天堂SNES)、FC(红白机NES)、MD(世嘉MEGA DRIVE)、PS1、PS2等。应用支持手柄完美操作&#xff0c;兼容安卓手柄&#xff0c;让玩家…

Pygame坦克大战游戏开发实验报告

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…

Springboot3.3.5 启动流程之 tomcat启动流程介绍

在文章 Springboot3.3.5 启动流程&#xff08;源码分析&#xff09; 中讲到 应用上下文&#xff08;applicationContext&#xff09;刷新(refresh)时使用模板方法 onRefresh 创建了 Web Server. 本文将详细介绍 ServletWebServer — Embedded tomcat 的启动流程。 首先&…

电子应用设计方案-12:智能窗帘系统方案设计

一、系统概述 本设计方案旨在打造便捷、高效的全自动智能窗帘系统。 二、硬件选择 1. 电机&#xff1a;选用低噪音、扭矩合适的智能电机&#xff0c;根据窗帘尺寸和重量确定电机功率&#xff0c;确保能平稳拉动窗帘。 2. 轨道&#xff1a;选择坚固、顺滑的铝合金轨道&…

Javaweb-day12(登录认证)

登录功能 登录校验&#xff08;重点&#xff09; 登录校验指的是在服务器接收到浏览器发送过来的请求之后&#xff0c;首先要对这个请求进行校验&#xff0c;先要校验一下用户登录了没有 怎么来实现登录校验的操作呢&#xff1f;具体的实现思路可以分为两部分&#xff1a; 在…

记录大学Linux运维上机考试题目和流程

备注&#xff1a;今年的Linux操作系统考试已经全部结束&#xff0c;仅作为一个记录和留念 前提&#xff1a;配置环回网卡和环境和nat网卡 1、搭建dns服务器 2、Apache和http服务 3、搭建postfix邮件服务器实现邮件发送 4、搭建vsftpdFTP服务器实现文件上传 题目如下&…

Linux驱动开发第2步_“物理内存”和“虚拟内存”的映射

“新字符设备的GPIO驱动”和“设备树下的GPIO驱动”都要用到寄存器地址&#xff0c;使用“物理内存”和“虚拟内存”映射时&#xff0c;非常不方便&#xff0c;而pinctrl和gpio子系统的GPIO驱动&#xff0c;非常简化。因此&#xff0c;要重点学习pinctrl和gpio子系统下的GPIO驱…

关于强化学习的一份介绍

在这篇文章中&#xff0c;我将介绍与强化学习有关的一些东西&#xff0c;具体包括相关概念、k-摇臂机、强化学习的种类等。 一、基本概念 所谓强化学习就是去学习&#xff1a;做什么才能使得数值化的收益信号最大化。学习者不会被告知应该采取什么动作&#xff0c;而是必须通…