线性判别分析(LDA)中求协方差矩阵示例

让我们通过一个简单的例子计算协方差矩阵。假设我们有两类数据集 X 0 X_0 X0 X 1 X_1 X1,每类有两个样本,每个样本有两个特征。

数据集:

类 0 的样本:
X 0 = [ 1 2 2 3 ] X_0 = \begin{bmatrix} 1 & 2 \\ 2 & 3 \end{bmatrix} X0=[1223]

类 1 的样本:
X 1 = [ 4 5 5 6 ] X_1 = \begin{bmatrix} 4 & 5 \\ 5 & 6 \end{bmatrix} X1=[4556]

1. 计算每类的均值向量:

首先,我们需要计算每类数据的均值向量。

对于类 0,均值向量 μ 0 \mu_0 μ0
μ 0 = 1 2 [ 1 + 2 2 + 3 ] = [ 1.5 2.5 ] \mu_0 = \frac{1}{2} \begin{bmatrix} 1+2 \\ 2+3 \end{bmatrix} = \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} μ0=21[1+22+3]=[1.52.5]

对于类 1,均值向量 μ 1 \mu_1 μ1
μ 1 = 1 2 [ 4 + 5 5 + 6 ] = [ 4.5 5.5 ] \mu_1 = \frac{1}{2} \begin{bmatrix} 4+5 \\ 5+6 \end{bmatrix} = \begin{bmatrix} 4.5 \\ 5.5 \end{bmatrix} μ1=21[4+55+6]=[4.55.5]

2. 计算协方差矩阵:

协方差矩阵的公式为:
Σ = 1 n − 1 ∑ i = 1 n ( x i − μ ) ( x i − μ ) T \Sigma = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \mu)(x_i - \mu)^T Σ=n11i=1n(xiμ)(xiμ)T

对类 0 计算协方差矩阵 Σ 0 \Sigma_0 Σ0

我们对每个样本减去均值向量 μ 0 \mu_0 μ0,并计算它们的外积。

对于第一个样本 x 1 = [ 1 , 2 ] x_1 = [1, 2] x1=[1,2]
x 1 − μ 0 = [ 1 2 ] − [ 1.5 2.5 ] = [ − 0.5 − 0.5 ] x_1 - \mu_0 = \begin{bmatrix} 1 \\ 2 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ -0.5 \end{bmatrix} x1μ0=[12][1.52.5]=[0.50.5]

对于第二个样本 x 2 = [ 2 , 3 ] x_2 = [2, 3] x2=[2,3]
x 2 − μ 0 = [ 2 3 ] − [ 1.5 2.5 ] = [ 0.5 0.5 ] x_2 - \mu_0 = \begin{bmatrix} 2 \\ 3 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} = \begin{bmatrix} 0.5 \\ 0.5 \end{bmatrix} x2μ0=[23][1.52.5]=[0.50.5]

接下来,我们计算外积:
( x 1 − μ 0 ) ( x 1 − μ 0 ) T = [ − 0.5 − 0.5 ] [ − 0.5 − 0.5 ] = [ 0.25 0.25 0.25 0.25 ] (x_1 - \mu_0)(x_1 - \mu_0)^T = \begin{bmatrix} -0.5 \\ -0.5 \end{bmatrix} \begin{bmatrix} -0.5 & -0.5 \end{bmatrix} = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x1μ0)(x1μ0)T=[0.50.5][0.50.5]=[0.250.250.250.25]
( x 2 − μ 0 ) ( x 2 − μ 0 ) T = [ 0.5 0.5 ] [ 0.5 0.5 ] = [ 0.25 0.25 0.25 0.25 ] (x_2 - \mu_0)(x_2 - \mu_0)^T = \begin{bmatrix} 0.5 \\ 0.5 \end{bmatrix} \begin{bmatrix} 0.5 & 0.5 \end{bmatrix} = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x2μ0)(x2μ0)T=[0.50.5][0.50.5]=[0.250.250.250.25]

协方差矩阵为这两个外积的平均:
Σ 0 = 1 2 − 1 ( [ 0.25 0.25 0.25 0.25 ] + [ 0.25 0.25 0.25 0.25 ] ) = [ 0.5 0.5 0.5 0.5 ] \Sigma_0 = \frac{1}{2-1} \left( \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} + \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} \right) = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ0=211([0.250.250.250.25]+[0.250.250.250.25])=[0.50.50.50.5]

对类 1 计算协方差矩阵 Σ 1 \Sigma_1 Σ1

同样地,对类 1 的样本进行相同的步骤。

对于第一个样本 x 1 = [ 4 , 5 ] x_1 = [4, 5] x1=[4,5]
x 1 − μ 1 = [ 4 5 ] − [ 4.5 5.5 ] = [ − 0.5 − 0.5 ] x_1 - \mu_1 = \begin{bmatrix} 4 \\ 5 \end{bmatrix} - \begin{bmatrix} 4.5 \\ 5.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ -0.5 \end{bmatrix} x1μ1=[45][4.55.5]=[0.50.5]

对于第二个样本 x 2 = [ 5 , 6 ] x_2 = [5, 6] x2=[5,6]
x 2 − μ 1 = [ 5 6 ] − [ 4.5 5.5 ] = [ 0.5 0.5 ] x_2 - \mu_1 = \begin{bmatrix} 5 \\ 6 \end{bmatrix} - \begin{bmatrix} 4.5 \\ 5.5 \end{bmatrix} = \begin{bmatrix} 0.5 \\ 0.5 \end{bmatrix} x2μ1=[56][4.55.5]=[0.50.5]

外积分别为:
( x 1 − μ 1 ) ( x 1 − μ 1 ) T = [ 0.25 0.25 0.25 0.25 ] (x_1 - \mu_1)(x_1 - \mu_1)^T = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x1μ1)(x1μ1)T=[0.250.250.250.25]
( x 2 − μ 1 ) ( x 2 − μ 1 ) T = [ 0.25 0.25 0.25 0.25 ] (x_2 - \mu_1)(x_2 - \mu_1)^T = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x2μ1)(x2μ1)T=[0.250.250.250.25]

协方差矩阵为:
Σ 1 = 1 2 − 1 ( [ 0.25 0.25 0.25 0.25 ] + [ 0.25 0.25 0.25 0.25 ] ) = [ 0.5 0.5 0.5 0.5 ] \Sigma_1 = \frac{1}{2-1} \left( \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} + \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} \right) = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ1=211([0.250.250.250.25]+[0.250.250.250.25])=[0.50.50.50.5]

结果:

对于类 0 和类 1,它们的协方差矩阵分别为:
Σ 0 = [ 0.5 0.5 0.5 0.5 ] \Sigma_0 = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ0=[0.50.50.50.5]
Σ 1 = [ 0.5 0.5 0.5 0.5 ] \Sigma_1 = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ1=[0.50.50.50.5]

这是一个简单的二维数据集协方差矩阵的计算例子。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/149205.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

【Linux】深度解析与实战应用:GCC/G++编译器入门指南

🔥 个人主页:大耳朵土土垚 🔥 所属专栏:Linux系统编程 这里将会不定期更新有关Linux的内容,欢迎大家点赞,收藏,评论🥳🥳🎉🎉🎉 文章目…

Mysql—主从复制的slave添加及延迟回放

MySQL 主从复制是什么? ​ MySQL 主从复制是指数据可以从一个 MySQL 数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,…

滑动窗口专题

通过以下几道题来熟悉滑动窗口 滑动窗口3大问题:如何移入窗口,如何移出窗口,如何更新答案 209. 长度最小的子数组 我们考虑通过窗口来计算和,快慢指针从左开始遍历。 移入窗口:直接把当前元素加进来。 移出窗口&am…

重大喜讯!科研界之大变革——“5分钟提交+24小时反馈”,投稿效率直线上升!

盘点允许“一稿多投”的SCI “一稿多投”一直被认为是学术不端的行为,但“禁止一稿多投”是纸质时代遗留下的产物,已不符合当今社会的发展。 一篇文章一审就是好几个月甚至是一两年,在科研圈子里都是平常事,每个科研人都曾深陷于…

乐道L60、MONA M03、理想L6,蔚小理围剿「特斯拉」

作者 |老缅 编辑 |德新 9月19日,蔚来全新品牌乐道首款车型——乐道L60正式上市,定位家庭智能电动SUV。 60kWh标准续航版,售价20.69万元85kWh长续航版,售价23.59万元;如果采用BaaS电池租用服务,则低至14.9…

如何在云端使用 Browserless 进行网页抓取?

云浏览器是什么? 云浏览器是一种基于云的组合,它将网页浏览器应用程序与一个虚拟化的容器相结合,实现了远程浏览器隔离的概念。开发人员可以使用流行的工具(如 Playwright 和​ Puppeteer​)来自动化网页浏览器&#…

cmake--list

教程 list--链接 list关键字的作用 list的操作 list追加字符串--APPEND set(str1 "aaaaaaaa") message(STATUS "str1${str1}") list(APPEND str1 "bbbb") message(STATUS "str1${str1}") list字符串拼接并不是直接拼接&#xff0c…

C# 用Timer控件简单写一个倒计时60s功能

先放界面上一个Label和一个Timer控件,Label用来展示倒计时秒数 添加事件 设置属性,设置每隔一秒执行一次 放代码: //设置时间控件开始运行,具体放在哪里看具体需求 this.timer1.Start();//定义一个全局变量表示秒数 int time…

在线版宣传册是如何制作的

​亲爱的创作者们,你是否想过将传统的纸质宣传册升级为更具吸引力的在线版?在这个数字化时代,在线版宣传册不仅能够节省印刷成本,还能让信息传递更加迅速、精准。今天,就让我们一起探索在线版宣传册的制作奥秘吧&#…

利用Mongoose库实现MQTT通信

Mongoose官方Github地址 官方对于Mongoose的简介: Mongoose - Embedded Web Server / Embedded Network Library Mongoose is a network library for C/C. It provides event-driven non-blocking APIs for TCP, UDP, HTTP, WebSocket, MQTT, and other protocol…

【吉林一号卫星简介】

吉林一号卫星 吉林一号卫星是中国长光卫星技术有限公司研制的遥感卫星,也是该公司在建的核心工程,是中国重要的光学遥感卫星星座。以下是对吉林一号卫星的详细介绍: 一、卫星概况 中文名:吉林一号外文名:Jilin 1 Bus…

视频汇聚EasyCVR视频监控平台调取接口提示“认证过期”是什么原因?

视频汇聚EasyCVR视频监控平台,作为一款智能视频监控综合管理平台,凭借其强大的视频融合汇聚能力和灵活的视频能力,在各行各业的应用中发挥着越来越重要的作用。EasyCVR平台具备强大的拓展性和灵活性,支持多种视频流的外部分发&…

丝杆支撑座许用条件的解析

丝杆支撑座连接滚珠丝杆使用能够支撑滚珠丝杆,使之更加平稳的运动,显著提高传动效率、降低噪音、提高精度、延长使用寿命等优势,是自动化设备中重要的传动元件。影响丝杆支撑座的因素主要包括轴承类型、润滑脂的使用、密封圈的保护、使用环境…

实现边框渐变效果

实现思路:定义一个具有相对定位、白色背景和透明边框的元素。边框宽度为3像素,并且有20像素的圆角。通过background-clip: padding-box;确保背景不会延伸到边框之外。 使用一个伪元素&::before来创建一个渐变边框。这个伪元素被放置在主元素的外部&…

Qt-QComboBox输入类控件(31)

目录 描述 核心方法 核心信号 使用 代码方式 界面操作方式 动态使用 如何看待输入输出 String与QString互相转化 描述 一个可以下拉的输入框 核心方法 addItem(constQString&)添加⼀个条⽬currentIndex()获取当前条⽬的下标 从0开始计算.如果当前没有条⽬被选中…

Xcode 16 上传AppStore遇到第三方库 bitcode 的问题

Xcode 16 上传AppStore遇到第三方库 bitcode 的问题 最近两天更新了Xcode 16,然后正好要发布新版本的App,打包Adhoc没问题,但是上传AppStoreConnect或者TestFlight就不行解决方案参考资料 最近两天更新了Xcode 16,然后正好要发布新…

RegNet(CVPR2020):Designing Network Design Spaces,设计一个网络设计空间!

RegNet:Designing Network Design Spaces RegNet:设计一个网络设计空间 论文地址: https://arxiv.org/pdf/2003.13678 1、前言 在这项工作中,作者提出了一种新的网络设计范例。 作者的目标是帮助增进对网络设计的理解并发现跨设置…

【js逆向学习】酷我音乐排行榜 python+nodejs(webpack)

逆向目标 目标网址: https://www.kuwo.cn/rankList目标接口: https://www.kuwo.cn/api/www/bang/bang/musicList 加密参数: 参数一:secret参数二:reqId 逆向过程 老规矩先分析网络请求,我们可以分析到网络请求是通过ajax进行的&#xff…

【研赛E题成品论文】24华为杯数学建模研赛E题成品论文+可运行代码丨免费分享

2024华为杯研究生数学建模竞赛E题成品论文已出! E题 高速公路应急车道紧急启用模型 一、问题一模型建立与求解 1.1 问题一求解思路 赛题要求我们基于四个观测点的视频数据,提取交通流参数并分析这些参数随时间的变化规律。交通流参数包括:…

JAVA并发编程系列(11)线程池底层原理架构剖析

面试官:说说JAVA线程池的几个核心参数? 之前我们用了10篇文章详细剖析了synchronized、volatile、CAS、AQS、ReentrantLock、Semaphore、CountDownLatch、CyclicBarrier、并发锁、Condition等各个核心基础原理,今天开始我们说说并发领域的各种…