线性判别分析(LDA)中计算类内散度在投影方向上的大小示例

通过一个具体的例子来解释 w T Σ 0 w w^T \Sigma_0 w wTΣ0w w T Σ 1 w w^T \Sigma_1 w wTΣ1w 表示类内散度在投影方向上的大小。

假设:

我们有两类数据,每个类的协方差矩阵 Σ 0 \Sigma_0 Σ0 Σ 1 \Sigma_1 Σ1 以及投影方向 w w w 如下:

  • 类 0 的协方差矩阵 Σ 0 \Sigma_0 Σ0
    Σ 0 = [ 2 0.5 0.5 1 ] \Sigma_0 = \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} Σ0=[20.50.51]

  • 类 1 的协方差矩阵 Σ 1 \Sigma_1 Σ1
    Σ 1 = [ 1 0.2 0.2 0.5 ] \Sigma_1 = \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} Σ1=[10.20.20.5]

  • 投影方向(权重向量) w w w
    w = [ 1 1 ] w = \begin{bmatrix} 1 \\ 1 \end{bmatrix} w=[11]

计算类内散度在投影方向上的大小:

  1. 对于类 0:计算 w T Σ 0 w w^T \Sigma_0 w wTΣ0w

我们计算 w T Σ 0 w w^T \Sigma_0 w wTΣ0w,这表示类 0 在投影方向 w w w 上的类内散度大小。计算过程如下:
w T Σ 0 w = [ 1 1 ] [ 2 0.5 0.5 1 ] [ 1 1 ] w^T \Sigma_0 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} wTΣ0w=[11][20.50.51][11]

首先进行矩阵和向量相乘:
Σ 0 w = [ 2 0.5 0.5 1 ] [ 1 1 ] = [ 2 × 1 + 0.5 × 1 0.5 × 1 + 1 × 1 ] = [ 2.5 1.5 ] \Sigma_0 w = \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 \times 1 + 0.5 \times 1 \\ 0.5 \times 1 + 1 \times 1 \end{bmatrix} = \begin{bmatrix} 2.5 \\ 1.5 \end{bmatrix} Σ0w=[20.50.51][11]=[2×1+0.5×10.5×1+1×1]=[2.51.5]

然后再与 w T w^T wT 相乘:
w T Σ 0 w = [ 1 1 ] [ 2.5 1.5 ] = 1 × 2.5 + 1 × 1.5 = 4 w^T \Sigma_0 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 2.5 \\ 1.5 \end{bmatrix} = 1 \times 2.5 + 1 \times 1.5 = 4 wTΣ0w=[11][2.51.5]=1×2.5+1×1.5=4

因此,类 0 在投影方向上的类内散度大小为 4。

  1. 对于类 1:计算 w T Σ 1 w w^T \Sigma_1 w wTΣ1w

我们再计算 w T Σ 1 w w^T \Sigma_1 w wTΣ1w,这表示类 1 在投影方向 w w w 上的类内散度大小。计算过程如下:
w T Σ 1 w = [ 1 1 ] [ 1 0.2 0.2 0.5 ] [ 1 1 ] w^T \Sigma_1 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} wTΣ1w=[11][10.20.20.5][11]

同样,先进行矩阵和向量相乘:
Σ 1 w = [ 1 0.2 0.2 0.5 ] [ 1 1 ] = [ 1 × 1 + 0.2 × 1 0.2 × 1 + 0.5 × 1 ] = [ 1.2 0.7 ] \Sigma_1 w = \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \times 1 + 0.2 \times 1 \\ 0.2 \times 1 + 0.5 \times 1 \end{bmatrix} = \begin{bmatrix} 1.2 \\ 0.7 \end{bmatrix} Σ1w=[10.20.20.5][11]=[1×1+0.2×10.2×1+0.5×1]=[1.20.7]

再与 w T w^T wT 相乘:
w T Σ 1 w = [ 1 1 ] [ 1.2 0.7 ] = 1 × 1.2 + 1 × 0.7 = 1.9 w^T \Sigma_1 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 1.2 \\ 0.7 \end{bmatrix} = 1 \times 1.2 + 1 \times 0.7 = 1.9 wTΣ1w=[11][1.20.7]=1×1.2+1×0.7=1.9

因此,类 1 在投影方向上的类内散度大小为 1.9。

总结:

  • 类 0 的类内散度 w T Σ 0 w = 4 w^T \Sigma_0 w = 4 wTΣ0w=4
  • 类 1 的类内散度 w T Σ 1 w = 1.9 w^T \Sigma_1 w = 1.9 wTΣ1w=1.9

这两个值都是标量,它们表示不同类在投影方向上(由权重向量 w w w 决定)的类内样本的分散程度。LDA 的目标是最小化这些类内散度,同时最大化类间差异,以确保在投影后各类能够尽可能分开。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1544872.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

【systemctl start jenkins】启动报错问题解决

问题说明,最终是在jenkins.service中配置JAVA_HOME解决的,但是我的服务器环境中确定已经配置好了Java环境变量,并且java -version也能正常打印信息,不清楚为什么jenkins.service无法读取配置 1.环境配置说明 服务器:…

如何确定SAP 某些凭证或者单号的号码编码范围的 OBJECT 是什么?

在SAP的运维或者项目实施中,有时会如何确定SAP 某些凭证或者单号的号码 OBJECT 是什么? 一般一下常用的可以通过事务代码 例如: XDN1 Create Number Ranges for Customer Accounts,定义客户编码FBN1查看维护会计凭证号范围 我…

破解 oklink 网站加密数据(升级版)

大家好!我是炒青椒不放辣,关注我,收看每期的编程干货。 逆向是爬虫工程师进阶必备技能,当我们遇到一个问题时可能会有多种解决途径,而如何做出最高效的抉择又需要经验的积累。本期文章将以实战的方式,带你详细地分析并破解 oklink 网站加密数据 特别声明:本篇文章仅供学…

屏幕演示工具 | 水豚鼠标助手 v1.0.7

水豚鼠标助手是一款功能强大的屏幕演示工具,专为Windows 10及以上系统设计。这款软件提供了多种实用功能,旨在增强用户的屏幕演示体验,特别适合教师、讲师和需要进行屏幕演示的用户。鼠标换肤:软件提供多种鼠标光标样式&#xff0…

深兰科技陈海波应邀出席2024长三角论坛暨虹桥人才创新发展大会

近日,以“人才引领 联动共融——国际化创新与长三角协同”为主题的“2024长三角人才发展论坛暨虹桥人才创新发展大会”在上海国际会议中心隆重举行。上海市委常委、组织部部长、市委人才办主任张为应邀出席并做大会致辞。 深兰科技创始人、董事长陈海波作为特邀企业…

跑lvs出现soft connect怎么处理?

首先,我们先了解一下什么是soft connect。简而言之,就是工具会将所有连接在psub上的信号认作soft connect(也就是short)。如图1所示,VSS和AVSS都接到了p上,它们通过psub便有了soft connect。 如果有soft co…

SQLServer运维实用的几个脚本

目录 1、查询出最近所有耗时最大的SQL语句 2、查询数据库每个数据表存储占用 3、当前正在执行的最耗时的前10个SQL语句 4、SQLServer查看锁表和解锁 5、快速清理数据库日志文件 1、查询出最近所有耗时最大的SQL语句 返回的是未关联任何特定对象的最耗费资源的查询信息,包…

剖解相交链表

相交链表 思路:我们计算A和B链表的长度,求出他们的差值(len),让链表长的先多走len步,最后在A,B链表一起向后走,即可相逢于相交节点 实现代码如下: public class Solution {public …

string 的介绍及使用

一.string类介绍 C语言中,字符串是以’\0’结尾的一些字符的集合,为了操作方便,C标准库中提供了一些str系列的库函数,但是这些库函数与字符串是分离开的,不太符合OOP的思想,而且底层空间需要用户自己管理&a…

服务设计原则介绍

在Java或任何软件开发中,设计服务时遵循一些核心原则是非常重要的,这些原则不仅有助于构建高质量、可维护的软件系统,还能提高系统的可扩展性和可重用性。以下是一些关键的服务设计原则: 单一职责原则(SingleResponsib…

个人量化成功之路-----获取实时OHLC的数据

昨天有一个客户说自己之前交易主要看OHLC线,想问量化软件如何实现获取实时一分钟OHLC的数据并生产图像。 有朋友可能不熟悉OHLC这个名字哈,其实跟K线/蜡烛图的数据是一样的,和蜡烛图的区别只是表现形式的不一致。 O为open、开盘价&#xff…

第6章 常用UI组件库

一.Element Plus组件库 1. 安装Element Plus 什么是Element Plus? Element Plus是基于Vue 3开发的优秀的PC端开源UI组件库,它是Element的升级版,对于习惯使用Element的人员来说,在学习Element Plus时,不用花费太多的…

如何使用ssm实现基于Java的超市管理系统

TOC ssm681基于Java的超市管理系统jsp 绪论 1.1 研究背景 当前社会各行业领域竞争压力非常大,随着当前时代的信息化,科学化发展,让社会各行业领域都争相使用新的信息技术,对行业内的各种相关数据进行科学化,规范化…

BUUCTF [SCTF2019]电单车详解两种方法(python实现绝对原创)

使用audacity打开,发现是一段PT2242 信号 PT2242信号 有长有短,短的为0,长的为1化出来 这应该是截获电动车钥匙发射出的锁车信号 0 01110100101010100110 0010 0前四位为同步码0 。。。中间这20位为01110100101010100110为地址码0010为功…

macOS设置 Redis自启动

macOS自定义开机启动程序 1、打开 自动操作app里面的应用程序 过程资料 1、https://juejin.cn/post/7123098435254747149 2、https://blog.twofei.com/889/ 2、编写脚本,可以点击右上角运行测试,保存为 app https://juejin.cn/post/7123098435254747149…

全能的Office插件——不坑盒子 2024.0923发布,云同步配置、合并单元格复制、PPT样机展示……

昨天凌晨,不坑盒子上线了2024.0923版本,这次更新的功能比较多,亮点较多,有必要发文推荐给大家! 向新人介绍 不坑盒子是一款全能的Office插件,支持微软Office和WPS Office的办公三件套(Word、E…

众数信科 AI智能体政务服务解决方案——AI法律助手

政务服务解决方案 AI法律助手 一款基于AI大模型的智能鼠标 搭裁“寻知AI法律助手” 众数信科AI智能体 产品亮点 能够结合全国各地案例数据 为用户提供法律咨询、文书生成、案例研判 类案推荐、法规检索等法律服务 同时结合Al office插件 具备AI智能办公、PPT生成等功能 …

《动手学深度学习》笔记1.7——模型选择 + 过拟合-欠拟合

目录 1. 模型选择 1.1 训练误差 vs. 泛化误差 1.2 验证数据集 vs. 测试数据集 1.3 K-折交叉验证 1.4 总结 2. 过拟合与欠拟合(核心知识) 2.1 过拟合 vs. 欠拟合 2.2 模型容量 2.3 估计模型容量 2.4 VC维 衡量模型容量 2.5 数据复杂度 3. 代…

nginx如何拦截未经授权的跳转

nginx如何拦截未经授权的跳转 背景准备好一个网站准备好引用网站配置nginx拦截效果 背景 在现实工作中往往有一些企业或人未取得授权但是转载或挂载我们的网址。那么有些要求严格或者有其他原因的情况下不希望这些链接正常访问。所以就有了这样的需求。前提是咱们的网站什么的是…

linux网络编程7

24.9.24学习目录 一.网络通信过程(续)1.路由器 二.原始套接字(SOCK_RAW)1.创建原始套接字2.数据包解析 一.网络通信过程(续) 1.路由器 路由器是用于连接多个逻辑上分开的网络; 具有判断网络地…