机器学习2_支持向量机_线性可分——MOOC

目录

定义

线性可分(Linear Separable)

线性不可分(Nonlinear Separable)

数学化定义

问题描述

优化问题

线性可分定义

假定训练样本集是线性可分的

1、最小化(Minimize):

2、限制条件:

已知:训练样本集 ,  ;

待求: 

事实1:

事实2:

支持向量机优化问题推导中最难理解的部分

优化问题定为:

限制条件:

总结

二次规划的定义:

凸优化问题的例子


定义

线性可分(Linear Separable)

二维 

三维

特征空间维度 \geqslant 四维 时,二维的情况下分割圆圈和叉的直线。

线性不可分(Nonlinear Separable)

不存在一条直线

二维 

三维

特征空间维度 \geqslant 四维 时,三维的情况下,分割圆圈和叉的平面将会变成超平面(Hyperplane)。由于人眼对空间的感知仅仅局限于三维,所以说我们无法直观的画出一个图。

数学化定义

在四维以及四维以上的情况说明线性和线性不可分的情况,必须借助数学对线性可分和线性不可分给出一个精确的定义。

假设:\omega _1'=-\omega _1,\omega _2'=-\omega _2,b'=b,则

用数学严格定义训练样本以及他们的标签

假设:我们有N个训练样本和他们的标签

 \left \{ \left ( X_1,y_1 \right ),\left ( X_2,y_2 \right ),\dots,\left ( X_n,y_n \right ) \right \}

其中 X_i=\left [ x_{i1},x_{i2} \right ]^T  , y_i=\left \{ +1,-1 \right \}

X_i 是向量,y_i 是X_i 的标签。

我们规定X_i 属于 C_1 ,则 y_i= +1X_i 属于 C_2 ,则 y_i= -1

线性可分的严格定义:一个训练样本集 \left \{ \left ( X_1,y_1 \right ),\left ( X_2,y_2 \right ),\dots,\left ( X_n,y_n \right ) \right \},在 i=1\sim N线性可分,是指存在 \left ( \omega _1,\omega _2,b \right ),使得对 i=1\sim N,有:

(1)若  y_i= +1,则  \omega _1X_{i1}+\omega _2X_{i2}+b > 0

(2)若  y_i= -1,则  \omega _1X_{i1}+\omega _2X_{i2}+b < 0

假设:

X_i=\begin{bmatrix} x_{i1}\\ x_{i2} \end{bmatrix}^T   \omega =\begin{bmatrix} \omega _{1}\\ \omega _{2} \end{bmatrix}^T

(1)若  y_i= +1,则  \omega ^TX_{i}+b > 0

(2)若  y_i= -1,则  \omega ^TX_{i}+b < 0

线性可分定义的最简化形式

如果  y_i= +1 或 -1,则上面两个公式可以合为一个。

一个训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},在  i=1\sim N线性可分,是指存在 \left ( \omega ,b \right ) ,似的对 i=1\sim N,有:

y_i\left ( \omega ^TX_i+b \right )> 0


问题描述

支持向量机算法

1、解决线性可分问题

2、再将线性可分问题中获得的结论推广到线性不可分情况

如何解决线性可分问题?

二维特征空间中的二分类问题

如图,哪条线更好?

2号线更能抵御训练样本位置的误差。

基于最优化的理论,将寻找2号线的过程变成了一个最优化的问题。

Veapick给出的回答:

假设对于任意一条分开圆圈和叉这两类的直线,把这条直线朝一侧平行的移动,直到它插到或几个训练样本位置。同时,也把这条直线朝另外一侧平行的移动,直到它插到或几个训练样本位置。

我们定义这两条虚线,它也都是平行的。

我们定义这两条平行线插到的训练样本叫做这个数据集的支持向量(Support Vectors),把这两条平行线之间的距离叫做间隔(Margin Vipic)。

断言我们想要求的2号线是使间隔margin最大的一条线。需要比较1、2、3号3条件的间隔margin。

显然2号线的margin间隔比1号线、3号线都要大。支持向量机要找的是使间隔margin最大的那一条直线。

为了让找到的直线唯一,还需要定义这条线应该再多上下两条平行线,就是图中的两条虚线所示,这条线在上下两个平行线的正中间,也就是这条线到左右两边所有的支持向量距离应该相等

总结

在线性可分的条件下,支持向量机寻找的最优的分类直线应该满足下面三个条件:

  1. 该直线分开了两类;
  2. 该直线最大化间隔(margin)
  3. 该直线处于间隔的中间,到所有支持向量距离相等。

上述的结果,都是基于二维特征空间的结果。在高维的特征空间中,直线将变成超平面。但以上的结论却是一致的。


优化问题

线性可分定义

一个训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},在  i=1\sim N线性可分,是指存在 \left ( \omega ,b \right ) 使:

(1)若  y_i= +1,则  \omega ^TX_{i}+b > 0

(2)若  y_i= -1,则  \omega ^TX_{i}+b < 0

假定训练样本集是线性可分的

支持向量机需要寻找的是最大化 间隔(Margin)的超平面。

可以写出如下形式:

1、最小化(Minimize):\frac{1}{2}\left \| \omega \right \|^2

\left \| \omega \right \|^2

\omega =\begin{bmatrix} \omega_1\\ \omega_2\\ ...\\ \omega_m\\ \end{bmatrix}

\left \| \omega \right \|^2=\omega_1^2+\omega_2^2+...+\omega_m^2=\displaystyle\sum_{i=1}^{m}\omega_i^2

2、限制条件:y_i\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

已知:训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},  i=1\sim N

待求: \left ( \omega ,b \right )

回顾【问题描述】

支持向量机需要找一个超平面,使它的间隔最大;

离两边所有支持向量的距离相等

事实1:

\omega ^TX_{i}+b = 0

\left (\alpha \omega ^T\right ) x+\left (ab \right ) = 0  是同一个超平面。\left (a\neq 0 \right )

事实2:

一个点 X_0 到超平面  \omega ^TX_{i}+b = 0 的距离 d=\frac{\left | \omega ^Tx_0+b \right |}{\left \| \omega \right \|}

点到超平面的距离公式

一个点 \left ( x_0,y_0 \right ) 到超平面 \omega _1x_0+\omega_2y_0+b=0 的距离 d=\frac{\left | \omega _1x_0+\omega _2y_0+b \right |}{\sqrt{\omega _1^2+\omega _2^2}}

支持向量机优化问题推导中最难理解的部分

用 a 去缩放 \omega b 

\left ( \omega,b \right )\rightarrow \left ( a \omega,a b \right )

最终使在支持向量 x_0 上有  \left | \omega ^Tx_0+b \right |= 1 ,而在非支持向量上  \left | \omega ^Tx_0+b \right |> 1

\because 根据【事实1】 \left ( \omega,b \right )  表示的超平面和  \left ( a \omega,a b \right )  表示的超平面是同一个平面。

\therefore  参数 a 去缩放 \left ( \omega,b \right ) 

\because 根据【事实2】,支持向量 X_0 到超平面的距离将会变为:d=\frac{\left | \omega ^Tx_0+b \right |}{\left \| \omega \right \|}=\frac{1}{\left \| \omega \right \|}

\therefore  最大化支持向量机到超平面的距离 等价于最小化 \left \| \omega \right \|

优化问题定为:

最小化: \frac{1}{2}\left \| \omega \right \|^2

最小化: \left \| \omega \right \|

限制条件:

支持向量到超平面的距离为: \frac{1}{2}\left \| \varepsilon \right \|

在非支持向量上  \left | \omega ^Tx_0+b \right |> 1

\therefore  y_i\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

其中 y_i \Rightarrow  协调超平面的左右

             \Rightarrow \left ( \omega ^Tx_0+b \right )> 1

             \Rightarrow \left ( \omega ^Tx_0+b \right )< 1

如果把  限制条件改成: y_i\left ( \omega ^Tx_i+b \right )\geq 2,那么会跟原来的相差一个 a ,根据【事实1】,他们代表的是用一个平面。

总结

线性可分的情况下,支持向量机寻找最佳超平面的优化问题可以表示为:

凸优化(Convex Optimization)\Rightarrow 只有唯一一个全局极值

最小化(Minimize): \frac{1}{2}\left \| \omega \right \|^2

限制条件:y_i=\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

在这个训练数据以及  \left ( X_i,y_i \right ),i=1\sim N 是已知的,而 \left ( \omega,b \right )  是待求的。

二次规划的定义:

(1)目标函数(Objective Function)是二次项。

目标函数:\frac{1}{2}\left \| \omega \right \|^2 \Rightarrow \frac{1}{2}\left \| \omega \right \|^2= \frac{1}{2} \omega_1 ^2+\frac{1}{2} \omega_2 ^2+...+\frac{1}{2} \omega_M ^2

(2)限制条件是一次项。

限制条件:y_i=\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

要么无解,要么只有唯一的最小值。

凸优化问题的例子

根据梯度不断试探。

先找到一个 \omega _0 和对应的 f\left ( \omega _0\right ),然后在 \omega _0 的旁边再找到一个 \omega _1 和对应的 f\left ( \omega _1\right ) 

一个优化问题是凸的 \Rightarrow 总能找到高效快速算法去解决它

用凸优化解出的支持向量机最佳分类超平面的例子:

用凸优化解出的支持向量机最佳分类超平面的例子

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/9484.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

零基础学习Spring AI Java AI使用向量数据库postgresql 检索增强生成 RAG

零基础学习Spring AI Java AI使用向量数据库postgresql 检索增强生成 RAG 向量数据库是一种特殊类型的数据库&#xff0c;在人工智能应用中发挥着至关重要的作用。 在向量数据库中&#xff0c;查询与传统的关系数据库不同。它们不是进行精确匹配&#xff0c;而是执行相似性搜…

口子查好做吗?有什么特点?

大家好&#xff0c;我是橙河老师&#xff0c;一家问卷公司老板&#xff0c;今天讲一讲“口子查好做吗&#xff1f;有什么特点&#xff1f;” 1.口子查是公开性资源&#xff0c;由国外问卷公司直接发布在主流的平台上&#xff0c;比如我们的抖音、百度这些平台&#xff0c;竞争…

开放式耳机性价比排行榜:从入门到高端的全方位推荐

在购买开放式耳机时&#xff0c;性价比是一个重要的考虑因素。开放式耳机性价比排行榜可以为我们提供从入门到高端的全方位推荐。但是&#xff0c;在关注排行榜的同时&#xff0c;我们也不能忽视一些关于开放式耳机的谣言&#xff0c;如对耳朵有伤害、完全不漏音、是否适合所有…

计算机毕业设计Spark+大模型知识图谱中药推荐系统 中药数据分析可视化大屏 中药爬虫 机器学习 中药预测系统 中药情感分析 大数据毕业设计

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…

WEB:如何优化大数据菜单展示的攻略指南

1、简述 在前端开发中&#xff0c;树结构菜单是常见的 UI 组件&#xff0c;尤其是在展示层级复杂、数据量庞大的场景下。如何优化大数据量的树结构菜单展示&#xff0c;提高性能和用户体验&#xff0c;是一个值得探讨的话题。本文将介绍一些优化技术和实践&#xff0c;帮助开发…

MySQL表的增删改查(CRUD3约束)

这次我们开始先不复习嗷&#xff0c;等到把数据表的删除说完咱们统一&#xff0c;总结书写 1.数据表的删除&#xff1a; 语法&#xff1a; 1. 使用 DROP TABLE 语句删除单个表 基本语法&#xff1a;DROP TABLE [IF EXISTS] table_name; table_name是要删除的表的名称。IF EXIS…

【每日推荐】使用 Ollama 平台上的 Llama 3.2-vision 模型进行视频目标检测

&#x1f680; 使用 Ollama 平台上的 Llama 3.2-vision 模型进行视频目标检测 在本期推荐的文章中&#xff0c;视频将展示如何通过 Ollama 平台上的 Llama 3.2-vision 多模态模型&#xff0c;结合 Python 和 FastAPI 框架&#xff0c;轻松实现视频目标检测功能。只需要简单的代…

【华为云-云驻共创】UCS跨云多活容灾:让业务高可用不再是难题

【摘要】云原生应用深入到企业各个业务场景&#xff0c;云原生正在走向分布式化&#xff0c;跨云跨域统一协同治理&#xff0c;保证一致应用体验&#xff0c;这些新的需求日益凸显。而容灾是确保服务高可用的保障&#xff0c;但即使应用部署在云上&#xff0c;也无法避免市政方…

ssm080削面快餐店点餐服务系统的设计与实现+jsp(论文+源码)_kaic

毕 业 设 计&#xff08;论 文&#xff09; 题目&#xff1a;快餐店点餐服务系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本快餐店点餐服务…

AI学习笔记

目录 专业词汇 AI、NLP和AIGC的关系 涌现能力(Emergent Ability) 专业词汇 专业词汇 (缩写) 英文中文AIArtificial Intelligence人工智能AIGCArtificial Intelligence Generated Content人工智能生成内容PGCProfessional Generated Content专业生成内容UGCUser Generated Co…

【【简单systyem verilog 语言学习使用二--- 新adder加法器 】】

【【简单systyem verilog 语言学习使用二— 新adder加法器 】】 adder.v module addernew(input clk ,input rst_n ,input [2 : 0] in_a ,input [2 : 0] in_b ,input …

曲率定义与三维Mesh曲率估计

曲率定义与三维Mesh曲率估计 二维圆的曲率线的曲率 三维Patch fitting methodsNormal curvature-based methodsTensor averaging methods Estimating Curvatures and Their Derivatives on Triangle Meshes1. Per-Face Curvature Computation2. Coordinate System Transformati…

Dinky控制台:利用SSE技术实现实时日志监控与操作

1、前置知识 1.1 Dinky介绍 实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑。 Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。 致力于简化Flink任务开…

无人机声学侦测算法详解!

一、算法原理 无人机在飞行过程中&#xff0c;其电机工作、旋翼震动以及气流扰动等都会产生一定程度的噪声。这些噪声具有独特的声学特征&#xff0c;如频率范围、时域和频域特性等&#xff0c;可以用于无人机的检测与识别。声学侦测算法利用这些特征&#xff0c;通过一系列步…

ABAP开发-12、Dialog屏幕开发_1

系列文章目录 文章目录 系列文章目录[TOC](文章目录) 前言一、Dialog屏幕概览二、界面1、界面-界面中的事件块2、界面-创建界面3、界面- 属性4、界面-元素清单5、界面-Screen Layout Designer6、界面- 参照创建7、界面- 常用关键字8、界面- 数据处理逻辑9、界面- Module执行顺序…

vue搭建项目之后的步骤操作

1.创建router文件夹&#xff08;里面创建index.js&#xff09;&#xff0c;创建views文件夹&#xff08;创建index页面&#xff09; 2.删除assets文件夹里面的内容&#xff0c;删除components文件夹 3.安装路由 npm install vue-router 4.router路由下面的index.js书写内容 …

w029基于springboot的网上购物商城系统研发

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0…

底层视角看C语言

文章目录 main函数很普通main函数之前调用了什么main函数和自定义函数的对比 变量名只为人而存在goto是循环的本质指针变量指针是一个特殊的数字汇编层面看指针 数组和指针数组越界问题低端地址越界高端地址越界 引用就是指针 main函数很普通 main函数是第一个被调用的函数吗&…

Linux内核USB2.0驱动框架分析--USB设备枚举过程

一 USB特点 1.1 USB协议版本介绍&#xff1a; USB1.0/1.1&#xff08;low/fullspeed&#xff09;&#xff1a;传输速率最大为12Mbps&#xff0c;是较早的USB协议版本。 USB2.0&#xff08;highspeed&#xff09;&#xff1a;传输速率最大为480Mbps&#xff0c;相比USB1.0/1.1…

bert-base-uncased处理文档

1.安装必要的库 确保安装 transformers 和 torch 库&#xff1a; pip install transformers torch 2.加载本地 BERT 模型和分词器 由于已将模型和分词器下载到本地&#xff0c;可以指定文件路径加载。确保路径与本地文件结构一致。 from transformers import BertTokenizer…