信息论基础第二章2.4~2.6 学习笔记2.4 联合自信息量与联合熵2.4.1 联合自信息量1.联合自信息量2.联合自信息量的推广2.4.2 联合熵1.两个离散随机变量集合的联合熵2.N个离散随机变量集合的联合熵理解自信息量是单个事件含有的信息量联合熵是集合全部联合事件的平均不确定性。2.5 互信息量与平均互信息量2.5.1 条件自信息量条件自信息量2.5.2 条件熵2.5.3 互信息量互信息量代表从事件y中获取到关于事件x的信息量。重要性质互易性 I(x;y)I(y;x)当x,y相互独立I(x;y)0一个事件无法得到另一个事件任何信息互信息量可正可负2.5.5 平均互信息量定义2.22 平均互信息量互信息量I(x;y)取数学期望得到平均互信息量I(X;Y)I(X;Y)I(X;Y)I(X;Y)EXY[I(x;y)]∑i,jp(xiyj)logp(xi∣yj)p(xi)I(X;Y)E_{XY}[I(x;y)]\sum_{i,j}p(x_i y_j)\log\frac{p(x_i|y_j)}{p(x_i)}I(X;Y)EXY[I(x;y)]∑i,jp(xiyj)logp(xi)p(xi∣yj)核心公式三个等价形式I(X;Y)H(X)-H(X|Y)I(X;Y)H(Y)-H(Y|X)I(X;Y)H(X)H(Y)-H(X,Y)物理含义收到Y之后X不确定性减少的部分也就是信道传递的平均信息量。性质非负性I(X;Y)≥0I(X;Y)\ge0I(X;Y)≥0极值性I(X;Y)≤H(X),I(X;Y)≤H(Y)I(X;Y)\le H(X),\quad I(X;Y)\le H(Y)I(X;Y)≤H(X),I(X;Y)≤H(Y)2.6 熵的性质以及各种熵之间的关系2.6.1 信息熵的性质离散信源熵H(X)-\sum_{i1}^N p(x_i)\log p(x_i)是概率分布的函数又叫熵函数N-1元函数满足∑pi1\sum p_i1∑pi1N个变量只有N-1个独立变量非负性H(p1,p2,…,pN)≥0H(p_1,p_2,\dots,p_N)\ge0H(p1,p2,…,pN)≥0。概率≥0熵不会小于0对称性只和概率分布数值有关调换事件顺序熵不变确定性只要一个pi1p_i1pi1其余为0H0事件完全确定无不确定性扩展性增加概率趋近于0的事件熵不变连续性概率微小扰动熵连续变化递增性拆分一个事件为多个子事件整体熵变大不确定性上升可加性:H(XY)H(X)H(Y|X)H(Y)H(X|Y)理解联合不确定度 X自身不确定度 已知X后Y剩下的不确定度极值性离散最大熵定理定理2.2等概分布时信息熵达到最大值H(p1,p2,…,pN)≤H(1N,1N,…,1N)logNH(p_1,p_2,\dots,p_N)\le H(\frac1N,\frac1N,\dots,\frac1N)\log NH(p1,p2,…,pN)≤H(N1,N1,…,N1)logN当所有事件概率相等信源不确定性最大。2.6.2 各种熵之间的关系四种核心量关系总结I(X;Y)H(X)-H(X|Y)H(Y)-H(Y|X)H(X)H(Y)-H(XY)H(X)圆X全部面积H(Y)圆Y全部面积交集 平均互信息量I(X;Y)H(X|Y)X去掉交集剩下部分H(Y|X)Y去掉交集剩下部分H(X,Y)两个圆合并总面积小结:自信息描述单个事件熵描述集合平均不确定度条件熵已知一个变量另一个变量剩余不确定性互信息两个事件互相共享的信息可以是负数平均互信息永远≥0最大熵定理等概的时候不确定性最大这是离散信源非常重要结论。 
长河君 · 2026/10/27 18:58:18 · 阅读 1.2k 信息论基础｜第二章2.4~2.6 学习笔记
信息论基础第二章2.4~2.6 学习笔记2.4 联合自信息量与联合熵2.4.1 联合自信息量1.联合自信息量2.联合自信息量的推广2.4.2 联合熵1.两个离散随机变量集合的联合熵2.N个离散随机变量集合的联合熵理解自信息量是单个事件含有的信息量联合熵是集合全部联合事件的平均不确定性。2.5 互信息量与平均互信息量2.5.1 条件自信息量条件自信息量2.5.2 条件熵2.5.3 互信息量互信息量代表从事件y中获取到关于事件x的信息量。重要性质互易性 I(x;y)I(y;x)当x,y相互独立I(x;y)0一个事件无法得到另一个事件任何信息互信息量可正可负2.5.5 平均互信息量定义2.22 平均互信息量互信息量I(x;y)取数学期望得到平均互信息量I(X;Y)I(X;Y)I(X;Y)I(X;Y)EXY[I(x;y)]∑i,jp(xiyj)logp(xi∣yj)p(xi)I(X;Y)E_{XY}[I(x;y)]\sum_{i,j}p(x_i y_j)\log\frac{p(x_i|y_j)}{p(x_i)}I(X;Y)EXY[I(x;y)]∑i,jp(xiyj)logp(xi)p(xi∣yj)核心公式三个等价形式I(X;Y)H(X)-H(X|Y)I(X;Y)H(Y)-H(Y|X)I(X;Y)H(X)H(Y)-H(X,Y)物理含义收到Y之后X不确定性减少的部分也就是信道传递的平均信息量。性质非负性I(X;Y)≥0I(X;Y)\ge0I(X;Y)≥0极值性I(X;Y)≤H(X),I(X;Y)≤H(Y)I(X;Y)\le H(X),\quad I(X;Y)\le H(Y)I(X;Y)≤H(X),I(X;Y)≤H(Y)2.6 熵的性质以及各种熵之间的关系2.6.1 信息熵的性质离散信源熵H(X)-\sum_{i1}^N p(x_i)\log p(x_i)是概率分布的函数又叫熵函数N-1元函数满足∑pi1\sum p_i1∑pi1N个变量只有N-1个独立变量非负性H(p1,p2,…,pN)≥0H(p_1,p_2,\dots,p_N)\ge0H(p1,p2,…,pN)≥0。概率≥0熵不会小于0对称性只和概率分布数值有关调换事件顺序熵不变确定性只要一个pi1p_i1pi1其余为0H0事件完全确定无不确定性扩展性增加概率趋近于0的事件熵不变连续性概率微小扰动熵连续变化递增性拆分一个事件为多个子事件整体熵变大不确定性上升可加性:H(XY)H(X)H(Y|X)H(Y)H(X|Y)理解联合不确定度 X自身不确定度 已知X后Y剩下的不确定度极值性离散最大熵定理定理2.2等概分布时信息熵达到最大值H(p1,p2,…,pN)≤H(1N,1N,…,1N)logNH(p_1,p_2,\dots,p_N)\le H(\frac1N,\frac1N,\dots,\frac1N)\log NH(p1,p2,…,pN)≤H(N1,N1,…,N1)logN当所有事件概率相等信源不确定性最大。2.6.2 各种熵之间的关系四种核心量关系总结I(X;Y)H(X)-H(X|Y)H(Y)-H(Y|X)H(X)H(Y)-H(XY)H(X)圆X全部面积H(Y)圆Y全部面积交集 平均互信息量I(X;Y)H(X|Y)X去掉交集剩下部分H(Y|X)Y去掉交集剩下部分H(X,Y)两个圆合并总面积小结:自信息描述单个事件熵描述集合平均不确定度条件熵已知一个变量另一个变量剩余不确定性互信息两个事件互相共享的信息可以是负数平均互信息永远≥0最大熵定理等概的时候不确定性最大这是离散信源非常重要结论。