一、自信息量整个度量体系的“原子”定义事件 xixi​ 发生所含的信息量等于其概率倒数的对数I(xi)log⁡1p(xi)−log⁡p(xi)I(xi​)logp(xi​)1​−logp(xi​)核心直觉概率越小的事件一旦发生消除的不确定性越大信息量越大。必然事件p1p1的信息量为 0。性质自信息量非负两个独立事件的联合自信息量等于各自自信息量之和。这一“可加性”是后面所有熵公式能够线性拆解的根本原因。二、信息熵自信息量的数学期望定义信息熵是信源所有符号自信息量按概率加权的平均值H(X)E[−log⁡p(X)]−∑ip(xi)log⁡2p(xi)H(X)E[−logp(X)]−i∑​p(xi​)log2​p(xi​)核心理解自信息量 I(xi)I(xi​) 是一个随机变量随符号不同而变而熵 H(X)H(X) 是这个随机变量的期望值是一个确定的常数。熵衡量的是信源输出前的平均不确定性而不是某一个具体符号的信息量。关键性质非负性 H(X)≥0H(X)≥0极值性 H(X)≤log⁡nH(X)≤logn等概时取等即等概信源不确定性最大上凸性熵函数关于概率分布是上凸的。三、联合自信息量与联合熵“同时发生”的度量联合自信息量两个事件同时发生时提供的信息量I(xiyj)−log⁡p(xiyj)I(xi​yj​)−logp(xi​yj​)联合熵联合自信息量的数学期望H(XY)−∑i∑jp(xiyj)log⁡2p(xiyj)H(XY)−i∑​j∑​p(xi​yj​)log2​p(xi​yj​)联合熵衡量的是一对随机变量整体的总不确定性。它不能简单拆成 H(X)H(Y)H(X)H(Y)——只有当 XX 与 YY 独立时才有 H(XY)H(X)H(Y)H(XY)H(X)H(Y)。四、条件自信息量与条件熵“已知一个另一个还剩多少不确定性”条件自信息量在已知 yjyj​ 的条件下xixi​ 还剩下的不确定性I(xi∣yj)−log⁡p(xi∣yj)I(xi​∣yj​)−logp(xi​∣yj​)条件熵条件自信息量的数学期望H(X∣Y)∑jp(yj)H(X∣Yyj)−∑i∑jp(xiyj)log⁡p(xi∣yj)H(X∣Y)j∑​p(yj​)H(X∣Yyj​)−i∑​j∑​p(xi​yj​)logp(xi​∣yj​)核心理解H(X∣Y)H(X∣Y) 不是某一个 yjyj​ 下的条件熵而是对所有 YY 的取值做了概率加权平均。它回答的是“平均而言知道 YY 之后XX 还剩下多少不确定性。”五、互信息量与平均互信息量信息传递的“净含量”5.1 单次互信息量点度量I(xi;yj)log⁡p(xi∣yj)p(xi)log⁡p(xiyj)p(xi)p(yj)I(xi​;yj​)logp(xi​)p(xi​∣yj​)​logp(xi​)p(yj​)p(xi​yj​)​其含义是收到 yjyj​ 后关于 xixi​ 的不确定性减少了多少。等价地I(xi;yj)I(xi)−I(xi∣yj)I(xi​;yj​)I(xi​)−I(xi​∣yj​)一个必须注意的易错点单次互信息量不具备非负性可以为正、负或零。当后验概率小于先验概率时p(xi∣yj)p(xi)p(xi​∣yj​)p(xi​)互信息量为负——这意味着 yjyj​ 的出现反而“误导”了对 xixi​ 的判断。5.2 平均互信息量期望度量对 I(xi;yj)I(xi​;yj​) 取数学期望得到平均互信息量I(X;Y)∑i∑jp(xiyj)log⁡p(xiyj)p(xi)p(yj)I(X;Y)i∑​j∑​p(xi​yj​)logp(xi​)p(yj​)p(xi​yj​)​与熵的等价关系核心公式I(X;Y)H(X)−H(X∣Y)H(Y)−H(Y∣X)I(X;Y)H(X)−H(X∣Y)H(Y)−H(Y∣X)​物理含义平均互信息量等于“XX 的总不确定性”减去“知道 YY 后 XX 仍剩余的不确定性”即通过 YY 实际消除掉的关于 XX 的不确定性。同时它也等于 H(X)H(Y)−H(XY)H(X)H(Y)−H(XY)是联合熵中“重叠”的那部分信息。平均互信息量的关键性质对称性I(X;Y)I(Y;X)I(X;Y)I(Y;X)从 XX 获得关于 YY 的信息等于从 YY 获得关于 XX 的信息。非负性I(X;Y)≥0I(X;Y)≥0仅当 XX 与 YY 独立时取等。注意单次互信息量可负但取期望后一定非负——这是“点”与“面”的重要区别。极值性I(X;Y)≤H(X)I(X;Y)≤H(X)且 I(X;Y)≤H(Y)I(X;Y)≤H(Y)。从一个变量中提取关于另一个变量的信息至多不超过那个变量自身的熵。六、所有公式的“一张关系网”6.1 核心恒等式必须记住的只有这三条H(XY)H(X)H(Y∣X)H(Y)H(X∣Y)H(XY)H(X)H(Y∣X)H(Y)H(X∣Y)I(X;Y)H(X)−H(X∣Y)H(Y)−H(Y∣X)I(X;Y)H(X)−H(X∣Y)H(Y)−H(Y∣X)I(X;Y)H(X)H(Y)−H(XY)I(X;Y)H(X)H(Y)−H(XY)其余所有关系如 H(X∣Y)≤H(X)H(X∣Y)≤H(X)、H(XY)≤H(X)H(Y)H(XY)≤H(X)H(Y) 等都可以从这三条出发结合非负性推出不需要额外记忆。6.2 维恩图直觉把公式“画出来”把 H(X)H(X) 和 H(Y)H(Y) 想象成两个圆两圆各自覆盖的面积H(X)H(X)、H(Y)H(Y)。两圆并集的总面积联合熵 H(XY)H(XY)。两个圆重叠的公共面积互信息量 I(X;Y)I(X;Y)。H(X)H(X) 圆中不与 H(Y)H(Y) 重叠的部分条件熵 H(X∣Y)H(X∣Y)。H(Y)H(Y) 圆中不与 H(X)H(X) 重叠的部分条件熵 H(Y∣X)H(Y∣X)。由此可以直接“读”出H(XY)H(X∣Y)I(X;Y)H(Y∣X)H(XY)H(X∣Y)I(X;Y)H(Y∣X)以及 H(X)H(X∣Y)I(X;Y)H(X)H(X∣Y)I(X;Y)。维恩图不是严格证明工具因为熵的“面积”并非总是可加但它是最有效的记忆锚点。6.3 一张速查表度量定义“点”或“期望”与熵的关系自信息量 I(x)I(x)−log⁡p(x)−logp(x)熵的“原子”信息熵 H(X)H(X)E[I(x)]E[I(x)]基准量联合熵 H(XY)H(XY)E[−log⁡p(xy)]E[−logp(xy)]H(X)H(Y∥X)H(X)H(Y∥X)条件熵 H(X∥Y)H(X∥Y)E[−log⁡p(x∥y)]E[−logp(x∥y)]H(XY)−H(Y)H(XY)−H(Y)互信息点 I(x;y)I(x;y)log⁡[p(x∥y)/p(x)]log[p(x∥y)/p(x)]可正可负平均互信息 I(X;Y)I(X;Y)E[I(x;y)]E[I(x;y)]H(X)−H(X∥Y)H(X)−H(X∥Y)非负