信息论基础第 2 章 离散信息的度量 学习笔记前言香农信息也称为概率信息信息的度量建立在概率统计基础之上。信源输出的消息、符号序列均属于随机事件因此需要借助概率论、离散随机变量来完成信息的量化分析。本章为信息论核心基础章节主要讲解离散信息度量所需的概率论前置知识是学习自信息量、信息熵、条件熵、互信息的必备铺垫。2.1 概率论基本知识2.1.1 样本空间与随机事件随机试验结果具有不确定性、无法预先确定的试验称为随机试验。样本空间随机试验所有可能结果组成的集合记作 Ω。样本空间中的每一个基本结果称为样本点。随机事件样本空间 Ω 的任意子集称为随机事件简称事件。2.1.2 概率基本概念与公式概率三条公理对任意随机事件 E其概率 P(E) 满足非负性P(E) ≥ 0规范性P(Ω) 1可列可加性两两互斥事件的总概率等于各事件概率之和条件概率在事件 A 发生的前提下事件 B 发生的概率P(B|A) P(AB) / P(A)若事件 A、B 相互独立则P(B|A) P(B)联合概率事件 A 与事件 B 同时发生的概率P(AB) P(A) × P(B|A) P(B) × P(A|B)2.1.3 完备事件组、全概率与贝叶斯公式完备事件组一组事件满足任意两个事件两两互斥、互不相交所有事件的并集等于样本空间 Ω完备事件组的本质是对样本空间的完整划分。全概率公式用于由多种原因推导出最终结果的总概率P(B) Σ [ P(aᵢ) × P(B|aᵢ) ]贝叶斯公式已知结果发生反向推导各原因发生的后验概率P(aᵢ|B) [ P(aᵢ) × P(B|aᵢ) ] / Σ [ P(aₖ) × P(B|aₖ) ]该式表明后验概率等于「原因 aᵢ 的先验概率 × 该原因下结果 B 的似然概率」再除以由全概率公式求得的结果总概率 P(B) 做归一化从而把先验信息与观测结果融合为更新后的判断。数值计算示例假设某工厂有三条生产线 a₁、a₂、a₃产量占比分别为 50%、30%、20%即先验概率P(a₁) 0.5P(a₂) 0.3P(a₃) 0.2各生产线生产的产品出现次品事件 B的概率似然概率分别为P(B|a₁) 0.02P(B|a₂) 0.05P(B|a₃) 0.03第一步利用全概率公式计算总次品率P(B) P(a₁) × P(B|a₁) P(a₂) × P(B|a₂) P(a₃) × P(B|a₃) 0.5 × 0.02 0.3 × 0.05 0.2 × 0.03 0.01 0.015 0.006 0.031即工厂整体次品率为 3.1%。第二步利用贝叶斯公式计算后验概率已知抽到一件次品求它来自各生产线的概率P(a₁|B) [ P(a₁) × P(B|a₁) ] / P(B) 0.01 / 0.031 ≈ 0.3226P(a₂|B) [ P(a₂) × P(B|a₂) ] / P(B) 0.015 / 0.031 ≈ 0.4839P(a₃|B) [ P(a₃) × P(B|a₃) ] / P(B) 0.006 / 0.031 ≈ 0.1935结果解释虽然 a₁ 产量占比最高50%但其次品率最低2%因此抽到次品来自 a₁ 的后验概率约为 32.26%。a₂ 产量占比 30%、次品率 5%两者共同作用使其后验概率最高约 48.39%说明次品最可能来自 a₂ 生产线。后验概率综合了先验概率与似然概率的信息是对「次品来源」这一原因在观测到结果后的更新判断。2.1.4 先验概率与后验概率先验概率未观测结果、未引入条件前事件本身固有的原始概率。后验概率观测到结果发生后利用贝叶斯公式更新、反向求解得到的条件概率。2.1.5 离散随机变量随机变量将样本空间内的随机试验结果映射为实数的单值函数。离散随机变量取值为有限个或无限可列个的随机变量离散信源均采用此类模型。累积分布函数CDFF(x) P(X ≤ x)分布函数核心性质单调不减值域范围 [0,1]趋于正无穷为1趋于负无穷为02.1.6 离散随机变量统计特性数学期望随机变量取值以概率为权重的加权平均值E(X) Σ [ xᵢ × P(xᵢ) ]期望的线性性质E(aX b) aE(X) b常数可提出、可加E(X Y) E(X) E(Y)和的期望等于期望的和不要求 X、Y 独立方差刻画随机变量取值相对期望的离散程度D(X) E[(X - E(X))²] E(X²) - [E(X)]²其中 E(X²) Σ [ xᵢ² × P(xᵢ) ]且 D(aX b) a²D(X)。性质在信息熵推导中的作用期望的线性性质使熵、条件熵、互信息中的求和与加权运算可以逐项拆分便于推导 H(X) -Σ P(xᵢ) log P(xᵢ) 的各类恒等式。互信息可写成期望形式 I(X;Y) E[ log ( P(XY) / (P(X)P(Y)) ) ]其非负性与对称性推导依赖期望的线性性质。方差用于衡量随机变量的波动程度与自信息量的方差、熵的稳定性分析相关联为后续信源编码与率失真讨论提供工具。随机变量函数的数学期望E[f(X)] Σ [ f(xᵢ) × P(xᵢ) ]联合数学期望双随机变量联合统计特性E(XY) ΣΣ [ xᵢ × yⱼ × P(xᵢyⱼ) ]✅ 本章核心知识点总结随机试验、样本空间、随机事件的基本定义概率三大公理、条件概率与联合概率公式完备事件组定义、全概率与贝叶斯公式应用逻辑先验概率与后验概率的概念区分离散随机变量、累积分布函数基本性质数学期望、函数期望、联合期望计算公式结尾本章是离散信息度量的理论基础熟练掌握概率与随机变量知识能够为后续信息熵、互信息、信源编码等核心内容学习提供重要支撑适合课程系统学习与知识点复盘。 
长河君 · 2026/10/29 2:01:36 · 阅读 1.2k 信息论基础（学习笔记）
信息论基础第 2 章 离散信息的度量 学习笔记前言香农信息也称为概率信息信息的度量建立在概率统计基础之上。信源输出的消息、符号序列均属于随机事件因此需要借助概率论、离散随机变量来完成信息的量化分析。本章为信息论核心基础章节主要讲解离散信息度量所需的概率论前置知识是学习自信息量、信息熵、条件熵、互信息的必备铺垫。2.1 概率论基本知识2.1.1 样本空间与随机事件随机试验结果具有不确定性、无法预先确定的试验称为随机试验。样本空间随机试验所有可能结果组成的集合记作 Ω。样本空间中的每一个基本结果称为样本点。随机事件样本空间 Ω 的任意子集称为随机事件简称事件。2.1.2 概率基本概念与公式概率三条公理对任意随机事件 E其概率 P(E) 满足非负性P(E) ≥ 0规范性P(Ω) 1可列可加性两两互斥事件的总概率等于各事件概率之和条件概率在事件 A 发生的前提下事件 B 发生的概率P(B|A) P(AB) / P(A)若事件 A、B 相互独立则P(B|A) P(B)联合概率事件 A 与事件 B 同时发生的概率P(AB) P(A) × P(B|A) P(B) × P(A|B)2.1.3 完备事件组、全概率与贝叶斯公式完备事件组一组事件满足任意两个事件两两互斥、互不相交所有事件的并集等于样本空间 Ω完备事件组的本质是对样本空间的完整划分。全概率公式用于由多种原因推导出最终结果的总概率P(B) Σ [ P(aᵢ) × P(B|aᵢ) ]贝叶斯公式已知结果发生反向推导各原因发生的后验概率P(aᵢ|B) [ P(aᵢ) × P(B|aᵢ) ] / Σ [ P(aₖ) × P(B|aₖ) ]该式表明后验概率等于「原因 aᵢ 的先验概率 × 该原因下结果 B 的似然概率」再除以由全概率公式求得的结果总概率 P(B) 做归一化从而把先验信息与观测结果融合为更新后的判断。数值计算示例假设某工厂有三条生产线 a₁、a₂、a₃产量占比分别为 50%、30%、20%即先验概率P(a₁) 0.5P(a₂) 0.3P(a₃) 0.2各生产线生产的产品出现次品事件 B的概率似然概率分别为P(B|a₁) 0.02P(B|a₂) 0.05P(B|a₃) 0.03第一步利用全概率公式计算总次品率P(B) P(a₁) × P(B|a₁) P(a₂) × P(B|a₂) P(a₃) × P(B|a₃) 0.5 × 0.02 0.3 × 0.05 0.2 × 0.03 0.01 0.015 0.006 0.031即工厂整体次品率为 3.1%。第二步利用贝叶斯公式计算后验概率已知抽到一件次品求它来自各生产线的概率P(a₁|B) [ P(a₁) × P(B|a₁) ] / P(B) 0.01 / 0.031 ≈ 0.3226P(a₂|B) [ P(a₂) × P(B|a₂) ] / P(B) 0.015 / 0.031 ≈ 0.4839P(a₃|B) [ P(a₃) × P(B|a₃) ] / P(B) 0.006 / 0.031 ≈ 0.1935结果解释虽然 a₁ 产量占比最高50%但其次品率最低2%因此抽到次品来自 a₁ 的后验概率约为 32.26%。a₂ 产量占比 30%、次品率 5%两者共同作用使其后验概率最高约 48.39%说明次品最可能来自 a₂ 生产线。后验概率综合了先验概率与似然概率的信息是对「次品来源」这一原因在观测到结果后的更新判断。2.1.4 先验概率与后验概率先验概率未观测结果、未引入条件前事件本身固有的原始概率。后验概率观测到结果发生后利用贝叶斯公式更新、反向求解得到的条件概率。2.1.5 离散随机变量随机变量将样本空间内的随机试验结果映射为实数的单值函数。离散随机变量取值为有限个或无限可列个的随机变量离散信源均采用此类模型。累积分布函数CDFF(x) P(X ≤ x)分布函数核心性质单调不减值域范围 [0,1]趋于正无穷为1趋于负无穷为02.1.6 离散随机变量统计特性数学期望随机变量取值以概率为权重的加权平均值E(X) Σ [ xᵢ × P(xᵢ) ]期望的线性性质E(aX b) aE(X) b常数可提出、可加E(X Y) E(X) E(Y)和的期望等于期望的和不要求 X、Y 独立方差刻画随机变量取值相对期望的离散程度D(X) E[(X - E(X))²] E(X²) - [E(X)]²其中 E(X²) Σ [ xᵢ² × P(xᵢ) ]且 D(aX b) a²D(X)。性质在信息熵推导中的作用期望的线性性质使熵、条件熵、互信息中的求和与加权运算可以逐项拆分便于推导 H(X) -Σ P(xᵢ) log P(xᵢ) 的各类恒等式。互信息可写成期望形式 I(X;Y) E[ log ( P(XY) / (P(X)P(Y)) ) ]其非负性与对称性推导依赖期望的线性性质。方差用于衡量随机变量的波动程度与自信息量的方差、熵的稳定性分析相关联为后续信源编码与率失真讨论提供工具。随机变量函数的数学期望E[f(X)] Σ [ f(xᵢ) × P(xᵢ) ]联合数学期望双随机变量联合统计特性E(XY) ΣΣ [ xᵢ × yⱼ × P(xᵢyⱼ) ]✅ 本章核心知识点总结随机试验、样本空间、随机事件的基本定义概率三大公理、条件概率与联合概率公式完备事件组定义、全概率与贝叶斯公式应用逻辑先验概率与后验概率的概念区分离散随机变量、累积分布函数基本性质数学期望、函数期望、联合期望计算公式结尾本章是离散信息度量的理论基础熟练掌握概率与随机变量知识能够为后续信息熵、互信息、信源编码等核心内容学习提供重要支撑适合课程系统学习与知识点复盘。