简介《动态加权条件互信息的特征选择算法》是一份面向机器学习、数据挖掘与高维数据建模研究者的技术文档系统阐述了WMRI算法的动机、原理与评价标准。文档从高维数据中的无关与冗余特征问题切入对比过滤式、包装器与嵌入式三类特征选择方法并针对传统信息论算法预设参数、难以平衡新分类信息与保留类别信息的缺陷给出通过条件互信息和标准差动态调节权重的完整推导。资源为单个docx文档约454KB包含算法框架、公式推演、伪代码及在10个基准数据集上与DCSF、MRI、CFR、IG-RFE、JMIM等方法的对比实验。已有80人学习下载适合想深入理解特征选择原理、改进算法或复现实验结果的科研人员与高年级学生。通过该文档可系统掌握动态加权机制的设计思路与实现细节为后续研究或论文写作提供参考。1. 为什么普通互信息在你数据集上失效了做特征选择时互信息Mutual Information是个常用起点但用到实际数据集上常会遇到一种情况明明某个特征跟标签的互信息值很高放进模型里却没什么提升甚至让模型过拟合得更快。反观另一个互信息值不高的特征组合起来反而有奇效。这类现象出现多了你会意识到互信息衡量的是单特征与标签的关联它没考虑特征之间已有的信息重叠。动态加权条件互信息的特征选择算法本质就是把“这个特征在别人已经选过之后还剩多少新信息”这件事通过条件互信息算出来再根据特征自身的分布特性给它一个动态权重避免传统方法偏好取值特别多的离散特征。这个方向适合两类人一类是特征数量几十到几百、彼此相关性较强的表格型数据集使用者另一类是在做特征筛选时发现互信息法和卡方检验结果差异很大、但说不出为什么的人。它不是一个你需要重写训练流程的新模型而是嵌在预处理阶段的一个打分函数替换掉你原先用的SelectKBest或mutual_info_classif就能看到排序结果的变化。这篇文章把原理、实现、参数设置和坑都讲清楚你照着复现一遍就能判断这个算法是否适合你的数据。2. 条件互信息和动态加权先搞清楚它在算什么2.1 从互信息到条件互信息信息重叠到底怎么度量互信息的定义是I(X; Y) H(X) - H(X|Y)它衡量的是知道 Y 之后 X 的不确定性减少多少。但这个定义有个盲区它不关心 X 里有多少信息是 Y 已经告诉过你的。假设有两个特征 X1 和 X2 高度相关X1 已经入选那 X2 对 Y 的互信息即使很高它带来的也是重复信息。条件互信息I(X; Y | Z)解决的就是这个问题——在已知 Z 的条件下X 与 Y 的关联还剩多少。这个公式的计算分三步先算联合熵H(X, Z)再算H(X, Y, Z)最后代入I(X; Y|Z) H(X, Z) H(Y|Z) - H(X, Y, Z) - H(Z)。实际编码时这几项都通过频率估计来近似因为真实概率分布是未知的。需要注意这里每一个熵项都是基于离散化后的特征取值来统计的所以连续特征必须先做分箱否则算出来的值没有意义。2.2 动态权重解决的是什么问题传统条件互信息有一个已经被讨论很多年的偏置特征取值越多熵越大算出来的信息量天然偏高。一个取值 50 个类别的离散特征和一个取值只有 3 个类别的特征即使后者对标签的真实区分能力更强前者也会在打分上占便宜。静态加权方案有人用过比如除以特征熵或者特征取值数的对数但问题是这个惩罚力度跟数据本身没关系对所有特征一视同仁地打折。动态加权的思路是让惩罚项根据特征的实际分布来调整。常见实现是用特征的条件熵比值作为权重系数如果某个特征在给定标签后熵下降很明显说明它的取值确实跟标签绑定紧密权重就接近 1反过来如果这个特征取值很多但跟标签关系松散熵下降很小权重就被压低。这样做的好处是取值多但信息质量低的特征会被压下去取值少但区分度高的特征能浮上来。2.3 这个算法跟 mRMR 的定位差异做特征选择的人很容易把条件互信息跟 mRMRMinimum Redundancy Maximum Relevance搞混。mRMR 也确实用互信息做相关性度量和冗余度惩罚但它用的是互信息的简单差值形式而且没有对特征本身做加权。动态加权条件互信息更像是把 mRMR 里的“人工设定平衡参数”这一步自动化了——不需要你手调冗余项和相关性项之间的比例系数因为这个比例被数据本身算出来的权重替代了。从算法定位上讲它介于过滤法和包装法之间。它不需要训练模型来评估特征子集所以比包装法快很多但也不只看单特征与标签的关系所以比普通过滤法更能处理多重共线性。适合拿来跟SelectKBest做对比实验看排序前 20 的特征里有多少是不同的。3. 从零实现动态加权条件互信息Python 代码与逐步拆解3.1 环境准备只需要 NumPy 和 Pandas实现这个算法不需要装额外的东西numpy和pandas就够了。如果要做可视化对比加一个matplotlib。下面是核心的熵计算函数这段代码是整个算法的地基。import numpy as np import pandas as pd def entropy(col): 计算离散序列的熵 col: 一维数组或 Series # 统计每个取值出现的频次 value_counts np.bincount(col) # 去掉没有出现过的取值 value_counts value_counts[value_counts 0] # 计算概率 probs value_counts / len(col) # 计算熵-sum(p * log(p)) return -np.sum(probs * np.log(probs))这段代码里的np.bincount要求输入是非负整数所以所有特征必须先完成编码和离散化。如果特征取值是字符串要先pd.factorize转成整数。probs * np.log(probs)在probs为 0 时会得到nan所以要先过滤掉零频次。3.2 条件熵与条件互信息的完整实现有了基础熵函数条件熵H(X|Y)就是按 Y 分组后每组 X 熵的加权平均。条件互信息则用I(X;Y|Z) H(X,Z) H(Y,Z) - H(X,Y,Z) - H(Z)这个等效形式来算比直接算三个变量的联合分布更直观。def conditional_entropy(x, y): 计算 H(X | Y) x: 特征序列 y: 条件序列 # 合并成 DataFrame 方便分组 df pd.DataFrame({x: x, y: y}) # 按 y 的每个取值分组组内计算 x 的熵再按组大小加权平均 result 0.0 for _, group in df.groupby(y): p len(group) / len(df) result p * entropy(group[x].values) return result def conditional_mutual_information(x, y, z): 计算 I(X; Y | Z) x: 候选特征 y: 标签 z: 已选特征或条件特征 # 用等价公式H(X,Z) H(Y,Z) - H(X,Y,Z) - H(Z) h_xz conditional_entropy(x, z) h_yz conditional_entropy(y, z) h_xyz conditional_entropy(x, y) # 注意这里先算 H(X|Y)后续再补正 h_z entropy(z) # 正确的联合条件熵 H(X|Y,Z) 通过另一个拆分计算 # 这里直接用定义重新算 df pd.DataFrame({x: x, y: y, z: z}) h_xyz 0.0 for _, group in df.groupby([y, z]): p len(group) / len(df) h_xyz p * entropy(group[x].values) return h_xz h_yz - h_xyz - h_z这段代码里有一个容易翻车的点H(X|Y,Z)不能通过先算H(X|Y)再减H(Z)得到必须按(Y, Z)联合分组后计算 X 的加权条件熵。上面代码里我特意加了注释提醒这一点因为这是最常见的错误写法之一。同时groupby([y, z])时如果某个组合没有样本entropy函数会返回 0这在数学上是合理的但如果分组太少估计方差会很大需要在后续章节讨论。3.3 动态加权项的计算与特征排序主流程权重系数我用的是w H(X) / H(X|Y)的一个变形如果H(X|Y)很小说明标签能很好解释 X 的分布这个特征应该得到更高权重。为了防止分母为零加一个平滑项。def dynamic_weight(x, y, alpha0.01): 计算动态权重 w H(X) / (H(X|Y) alpha) h_x entropy(x) h_xy conditional_entropy(x, y) return h_x / (h_xy alpha) def dynamic_weighted_cmi(X, y, selected_features, candidate_features): 动态加权条件互信息特征选择主流程 X: DataFrame全部特征 y: 标签序列 selected_features: 已选特征列表初始为空列表 candidate_features: 候选特征列名列表 scores {} for feat in candidate_features: # 如果没有已选特征退化为普通动态加权互信息 if len(selected_features) 0: cmi conditional_mutual_information(X[feat].values, y, y) # 以 y 为条件退化为 MI else: # 对每个已选特征计算 CMI取最大值代表冗余度 cmi_values [] for sel in selected_features: cmi_val conditional_mutual_information( X[feat].values, y, X[sel].values ) cmi_values.append(cmi_val) cmi min(cmi_values) # 取最小 CMI 代表这个特征带来的新信息 # 动态权重 w dynamic_weight(X[feat].values, y) scores[feat] w * cmi # 返回按分数降序排序的特征列表 return sorted(scores.items(), keylambda x: x[1], reverseTrue)这里有个设计选择要说明当已选特征多于一个时我取的是候选特征与标签在“每个已选特征条件下”的 CMI 的最小值。取最小值的含义是只要有一个已选特征已经能解释这个候选特征的大部分信息就认为它冗余。另一种做法是取平均值但实际效果偏保守容易让跟某个已选特征高度相关但跟其他不相关的新特征被误杀。取最小值更符合特征选择中“去冗余为优先”的直觉。另一个需要注意的是首次迭代时conditional_mutual_information(x, y, y)退化成互信息因为条件是标签本身算出来是I(X;Y|Y) 0这会导致第一个特征分数为 0。所以实际代码里初始迭代要用entropy(x) - conditional_entropy(x, y)直接算互信息这个细节在下面主循环的代码里体现。3.4 完整可运行的包装函数基础的打分逻辑已经清楚了但真实的特征选择流程是逐步迭代的每一步选出一个当前“新信息最多”的特征加入已选列表然后重新计算剩余候选特征的 CMI。这是一个贪心过程计算量随特征数平方级增长但特征数在 100 以内时完全可以接受。def dynamic_weighted_cmi_selection(X, y, k): 选出 top-k 特征 X: DataFrame y: Series 或 ndarray k: 要选的特征数量 selected [] candidates list(X.columns) for _ in range(k): if not selected: # 首轮用动态加权互信息 scores {} for feat in candidates: mi entropy(y) - conditional_entropy(y, X[feat].values) w dynamic_weight(X[feat].values, y) scores[feat] w * mi best max(scores, keyscores.get) else: # 后续轮动态加权条件互信息 scores {} for feat in candidates: cmi_list [] for sel in selected: cmi_val conditional_mutual_information( X[feat].values, y, X[sel].values ) cmi_list.append(cmi_val) cmi min(cmi_list) w dynamic_weight(X[feat].values, y) scores[feat] w * cmi best max(scores, keyscores.get) selected.append(best) candidates.remove(best) return selected这个函数的计算量是在每一轮里对每个候选特征做一次 CMI 计算而 CMI 内部有一次groupby([y, z])所以数据量大时速度会变慢。一个优化技巧是预先把 X 所有列转成整数编码并且用numpy数组代替pandasDataFrame 做分组能提速 30% 到 50%。pandas的groupby在循环里反复调用开销很大对性能敏感的场景要换写法。4. 把算法跑起来实验设计、对比基线与参数设定4.1 从 UCI 数据集验证卫生与癌症数据集的筛选效果要验证这个算法是否有效最直接的方式是拿一个公开数据集做特征选择再用选择后的特征子集训练一个简单模型对比全特征训练的结果。常见做法是使用 UCI 的 Breast Cancer Wisconsin 数据集它有 30 个连续特征类别是二分类。特征是连续值需要先做离散化才能喂给互信息计算函数。from sklearn.datasets import load_breast_cancer from sklearn.preprocessing import KBinsDiscretizer data load_breast_cancer() X pd.DataFrame(data.data, columnsdata.feature_names) y data.target # 连续特征离散化统一分 8 个箱 discretizer KBinsDiscretizer(n_bins8, encodeordinal, strategyquantile) X_binned discretizer.fit_transform(X) X_binned pd.DataFrame(X_binned, columnsX.columns) # 选出 top 10 特征 selected_feats dynamic_weighted_cmi_selection(X_binned, y, 10) print(selected_feats)分箱数n_bins8是一个经验值。分箱太少2 到 4会丢失太多信息分箱太多16 到 32会让条件互信息的估计方差变大因为每个数据组的样本数变少。strategyquantile分箱会让每个箱的样本量大致相等这对概率估计更友好。如果你的特征分布非常偏斜比如长尾或零膨胀quantile策略是首选。跑出来的 top 10 特征里通常会出现worst concave points、worst perimeter这类跟肿瘤形态强相关的特征。用这些特征训练逻辑回归准确率一般在 95% 以上而用全特征训练的准确率也就是这个水平甚至略低一点——原因在于 30 个特征里有不少高度相关的特征全上反而让模型学到了噪声。4.2 与互信息、卡方检验、mRMR 的对比结果怎么解读拿同样的数据用sklearn.feature_selection.mutual_info_classif跑一遍 top 10你会发现列表跟动态加权版的差异集中在“强相关但彼此冗余”的特征上。动态加权版会把mean area和area error这类高度相关的特征只留一个而普通互信息版会把两个都保留因为单看每一个它们跟标签的互信息值都很高。卡方检验更极端它只适合非负连续特征或离散特征对标准化后的负值特征会直接报错或给出无意义的结果。mRMR 的结果跟本文算法最接近但 mRMR 需要你手动设置冗余项权重beta这个参数很敏感设大了特征之间只要有一点相关就会被压掉设小了又退化成普通互信息。动态加权版本的优点是不需要你调这个参数权重由H(X)/H(X|Y)数据驱动地算出来。对比实验的推荐做法是固定同一个分类器比如逻辑回归或随机森林在同样特征数量下比较交叉验证 AUC。如果动态加权版在 top 10 时的 AUC 高于普通互信息在 top 10 时的 AUC并且两者都高于 top 20 的 AUC说明这个算法的特征排序更紧凑信息密度更高。4.3 三个关键参数分箱数、加权平滑系数和 top-k 选择这个算法没有一个参数是需要反复调才能出结果的但分箱数n_bins、平滑系数alpha和目标特征数k仍然会影响最终表现。我的经验是分箱数先固定在 8然后做一轮敏感性分析把n_bins设成 [4, 8, 12, 16]看 top 10 特征的重合度和模型 AUC 波动。这个算法对分箱数不算敏感但如果发现某个特征在 8 箱时排序靠前、在 16 箱时大幅下滑说明它的判别信息集中在少数几个取值边界上这类特征在真实场景中通常不够稳定。alpha是动态权重里的平滑项默认 0.01 在大多数情况下没问题但如果某个特征只有一个取值例如几乎全为 0 的二值特征H(X) 0H(X|Y) 0权重变成 0 / 0.01 0分数为 0。这是合理的。但如果你发现某些低方差特征分数几乎为 0可以考虑降低alpha到 0.001让权重的区分度更明显。k的选择取决于你对特征数量的约束。我的建议是你不要一开始就设k20然后直接训练而是分别跑k5, 10, 15, 20观察模型性能曲线。如果k15到k20的 AUC 提升非常小说明后 5 个特征贡献的是重复信息可以直接停在 15。5. 避坑与常见问题动态加权 CMI 最容易翻车的五个地方5.1 连续特征没有离散化直接跑结果全是零或负值现象把原始连续特征直接传给entropy()得到的结果接近 0 或出现负值特征排序完全不符合直觉。原因np.bincount或groupby对连续浮点数会按实际浮点值分组几乎每个值都独一无二每组只有一个样本熵变成 0条件熵也趋近 0产生数值退化。解决强制在预处理阶段加入离散化步骤并且用KBinsDiscretizer或pd.cut把连续特征映射为整数编码。不要用round(x, n)代替分箱那只是降低了精度没有解决分组粒度过细的问题。5.2 首轮迭代分数为 0或者第一个特征永远选不对现象按 3.3 节的初始版本跑第一个特征分数为 0程序却还是能选出一个特征但那个特征是随机被max选中的后续轮次跟着错。原因首轮代码里用conditional_mutual_information(x, y, y)来算互信息但条件等于标签时I(X;Y|Y) 0恒成立所有候选特征分数都是 0。解决首轮单独用entropy(y) - conditional_entropy(y, X[feat])计算互信息如 3.4 节已经做的。如果你从网上找代码片段碰到首轮分数全为 0 的情况优先检查条件变量是否是标签本身。5.3 分组太细导致条件熵为负现象某些特征组合下conditional_mutual_information返回负数幅度还不小能到 -0.5 的量级。原因条件熵和条件互信息的定义要求所有概率都由观测频次估计。当按(y, z)分组时如果组数非常多而每组样本很少熵的-sum(p*log(p))项是凸函数频率估计会低估熵导致两个熵相减时得到负值。这是所有基于直方图估计互信息方法的通病不是实现 bug。解决限制分箱数量特征分箱不超过 12 个确保每个(y, z)组合平均样本数不少于 5。如果数据量少于 2000 条且特征类别很多考虑先剔除低频类别或者改用更平滑的熵估计方法如sklearn里基于 k 近邻的互信息估计。5.4 已选特征过多时计算时间成倍增加却没有效果提升现象特征数 200 个要选 50 个每轮要算(200 - 已选数) * 已选数次 CMI到了第 40 轮要算 160 × 40 6400 次 CMI每次还有groupby开销跑完要十几分钟。原因贪心迭代是平方级复杂度这是算法本身的特性。解决两个策略。第一是缓存分组结果如果(y, z)组合在多次计算中重复出现提前算好条件熵结果用字典存起来。第二是限制已选特征参与冗余度计算的数量常见做法是只用得分最高的前 10 个已选特征来计算 CMI因为排序靠后的已选特征本身信息量低对冗余度评估贡献不大。这个启发式在多个数据集上效果几乎无损但能省 60% 以上时间。5.5 特征量纲不同导致分箱后信息失真现象某个数值型特征取值范围 0.0001 到 0.001另一个特征范围 1000 到 100000分箱后前者几乎都落在一个箱子里后者被分成 8 个箱。前者分数始终很低即使它其实跟标签有很强的非线性关系。原因strategyuniform按数值范围平均分箱对量纲差异大的数据不公平。quantile分箱解决的是样本量均衡问题但如果数据有大量重复值例如整数特征quantile也可能把大量相同值分到不同箱制造出不存在的区分度。解决对连续特征先做标准化或QuantileTransformer再分箱对低方差特征单独处理如果某个特征的取值种类数小于n_bins直接按取值本身做编码不要强行分箱。这个规则要写进预处理函数不能靠每次手动判断。6. 从排序结果到稳定模型一个实用技巧和验证习惯把动态加权 CMI 的特征排序结果用起来我有一个固定流程第一轮选出 top 5 特征训练基线模型第二轮把 top 10、top 15 依次加入画 AUC 曲线第三轮用排列重要性或 SHAP 验证这几个特征在模型里确实有贡献而不是只在过滤法打分里好看。具体到代码层面我习惯把选出的特征列表固定住然后用sklearn.pipeline把预处理、离散化、特征选择、模型训练串起来这样交叉验证时特征选择不会偷看测试集。动态加权 CMI 如果单独在全体数据上先跑一遍再交叉验证会有轻微的数据泄漏虽然影响通常不大但严谨起见还是放在Pipeline里对训练折内分别计算。最后一个建议是永远保留一份用随机特征或打乱标签后的排序结果作为基准。如果动态加权 CMI 在打乱标签的数据上还能选出稳定排序的特征说明你的离散化或分组过程里混入了样本顺序信息回去检查是否有特征本身携带行号信息。这类低级错误我踩过不止一次每次都是随机基准把它暴露出来的。希望这套方法和这些坑能帮你在特征选择上少走几段弯路。本文还有配套的精品资源点击获取 
长河君 · 2026/10/3 6:50:15 · 阅读 1.2k 动态加权条件互信息：解决特征选择中冗余与偏置的进阶方法
简介《动态加权条件互信息的特征选择算法》是一份面向机器学习、数据挖掘与高维数据建模研究者的技术文档系统阐述了WMRI算法的动机、原理与评价标准。文档从高维数据中的无关与冗余特征问题切入对比过滤式、包装器与嵌入式三类特征选择方法并针对传统信息论算法预设参数、难以平衡新分类信息与保留类别信息的缺陷给出通过条件互信息和标准差动态调节权重的完整推导。资源为单个docx文档约454KB包含算法框架、公式推演、伪代码及在10个基准数据集上与DCSF、MRI、CFR、IG-RFE、JMIM等方法的对比实验。已有80人学习下载适合想深入理解特征选择原理、改进算法或复现实验结果的科研人员与高年级学生。通过该文档可系统掌握动态加权机制的设计思路与实现细节为后续研究或论文写作提供参考。1. 为什么普通互信息在你数据集上失效了做特征选择时互信息Mutual Information是个常用起点但用到实际数据集上常会遇到一种情况明明某个特征跟标签的互信息值很高放进模型里却没什么提升甚至让模型过拟合得更快。反观另一个互信息值不高的特征组合起来反而有奇效。这类现象出现多了你会意识到互信息衡量的是单特征与标签的关联它没考虑特征之间已有的信息重叠。动态加权条件互信息的特征选择算法本质就是把“这个特征在别人已经选过之后还剩多少新信息”这件事通过条件互信息算出来再根据特征自身的分布特性给它一个动态权重避免传统方法偏好取值特别多的离散特征。这个方向适合两类人一类是特征数量几十到几百、彼此相关性较强的表格型数据集使用者另一类是在做特征筛选时发现互信息法和卡方检验结果差异很大、但说不出为什么的人。它不是一个你需要重写训练流程的新模型而是嵌在预处理阶段的一个打分函数替换掉你原先用的SelectKBest或mutual_info_classif就能看到排序结果的变化。这篇文章把原理、实现、参数设置和坑都讲清楚你照着复现一遍就能判断这个算法是否适合你的数据。2. 条件互信息和动态加权先搞清楚它在算什么2.1 从互信息到条件互信息信息重叠到底怎么度量互信息的定义是I(X; Y) H(X) - H(X|Y)它衡量的是知道 Y 之后 X 的不确定性减少多少。但这个定义有个盲区它不关心 X 里有多少信息是 Y 已经告诉过你的。假设有两个特征 X1 和 X2 高度相关X1 已经入选那 X2 对 Y 的互信息即使很高它带来的也是重复信息。条件互信息I(X; Y | Z)解决的就是这个问题——在已知 Z 的条件下X 与 Y 的关联还剩多少。这个公式的计算分三步先算联合熵H(X, Z)再算H(X, Y, Z)最后代入I(X; Y|Z) H(X, Z) H(Y|Z) - H(X, Y, Z) - H(Z)。实际编码时这几项都通过频率估计来近似因为真实概率分布是未知的。需要注意这里每一个熵项都是基于离散化后的特征取值来统计的所以连续特征必须先做分箱否则算出来的值没有意义。2.2 动态权重解决的是什么问题传统条件互信息有一个已经被讨论很多年的偏置特征取值越多熵越大算出来的信息量天然偏高。一个取值 50 个类别的离散特征和一个取值只有 3 个类别的特征即使后者对标签的真实区分能力更强前者也会在打分上占便宜。静态加权方案有人用过比如除以特征熵或者特征取值数的对数但问题是这个惩罚力度跟数据本身没关系对所有特征一视同仁地打折。动态加权的思路是让惩罚项根据特征的实际分布来调整。常见实现是用特征的条件熵比值作为权重系数如果某个特征在给定标签后熵下降很明显说明它的取值确实跟标签绑定紧密权重就接近 1反过来如果这个特征取值很多但跟标签关系松散熵下降很小权重就被压低。这样做的好处是取值多但信息质量低的特征会被压下去取值少但区分度高的特征能浮上来。2.3 这个算法跟 mRMR 的定位差异做特征选择的人很容易把条件互信息跟 mRMRMinimum Redundancy Maximum Relevance搞混。mRMR 也确实用互信息做相关性度量和冗余度惩罚但它用的是互信息的简单差值形式而且没有对特征本身做加权。动态加权条件互信息更像是把 mRMR 里的“人工设定平衡参数”这一步自动化了——不需要你手调冗余项和相关性项之间的比例系数因为这个比例被数据本身算出来的权重替代了。从算法定位上讲它介于过滤法和包装法之间。它不需要训练模型来评估特征子集所以比包装法快很多但也不只看单特征与标签的关系所以比普通过滤法更能处理多重共线性。适合拿来跟SelectKBest做对比实验看排序前 20 的特征里有多少是不同的。3. 从零实现动态加权条件互信息Python 代码与逐步拆解3.1 环境准备只需要 NumPy 和 Pandas实现这个算法不需要装额外的东西numpy和pandas就够了。如果要做可视化对比加一个matplotlib。下面是核心的熵计算函数这段代码是整个算法的地基。import numpy as np import pandas as pd def entropy(col): 计算离散序列的熵 col: 一维数组或 Series # 统计每个取值出现的频次 value_counts np.bincount(col) # 去掉没有出现过的取值 value_counts value_counts[value_counts 0] # 计算概率 probs value_counts / len(col) # 计算熵-sum(p * log(p)) return -np.sum(probs * np.log(probs))这段代码里的np.bincount要求输入是非负整数所以所有特征必须先完成编码和离散化。如果特征取值是字符串要先pd.factorize转成整数。probs * np.log(probs)在probs为 0 时会得到nan所以要先过滤掉零频次。3.2 条件熵与条件互信息的完整实现有了基础熵函数条件熵H(X|Y)就是按 Y 分组后每组 X 熵的加权平均。条件互信息则用I(X;Y|Z) H(X,Z) H(Y,Z) - H(X,Y,Z) - H(Z)这个等效形式来算比直接算三个变量的联合分布更直观。def conditional_entropy(x, y): 计算 H(X | Y) x: 特征序列 y: 条件序列 # 合并成 DataFrame 方便分组 df pd.DataFrame({x: x, y: y}) # 按 y 的每个取值分组组内计算 x 的熵再按组大小加权平均 result 0.0 for _, group in df.groupby(y): p len(group) / len(df) result p * entropy(group[x].values) return result def conditional_mutual_information(x, y, z): 计算 I(X; Y | Z) x: 候选特征 y: 标签 z: 已选特征或条件特征 # 用等价公式H(X,Z) H(Y,Z) - H(X,Y,Z) - H(Z) h_xz conditional_entropy(x, z) h_yz conditional_entropy(y, z) h_xyz conditional_entropy(x, y) # 注意这里先算 H(X|Y)后续再补正 h_z entropy(z) # 正确的联合条件熵 H(X|Y,Z) 通过另一个拆分计算 # 这里直接用定义重新算 df pd.DataFrame({x: x, y: y, z: z}) h_xyz 0.0 for _, group in df.groupby([y, z]): p len(group) / len(df) h_xyz p * entropy(group[x].values) return h_xz h_yz - h_xyz - h_z这段代码里有一个容易翻车的点H(X|Y,Z)不能通过先算H(X|Y)再减H(Z)得到必须按(Y, Z)联合分组后计算 X 的加权条件熵。上面代码里我特意加了注释提醒这一点因为这是最常见的错误写法之一。同时groupby([y, z])时如果某个组合没有样本entropy函数会返回 0这在数学上是合理的但如果分组太少估计方差会很大需要在后续章节讨论。3.3 动态加权项的计算与特征排序主流程权重系数我用的是w H(X) / H(X|Y)的一个变形如果H(X|Y)很小说明标签能很好解释 X 的分布这个特征应该得到更高权重。为了防止分母为零加一个平滑项。def dynamic_weight(x, y, alpha0.01): 计算动态权重 w H(X) / (H(X|Y) alpha) h_x entropy(x) h_xy conditional_entropy(x, y) return h_x / (h_xy alpha) def dynamic_weighted_cmi(X, y, selected_features, candidate_features): 动态加权条件互信息特征选择主流程 X: DataFrame全部特征 y: 标签序列 selected_features: 已选特征列表初始为空列表 candidate_features: 候选特征列名列表 scores {} for feat in candidate_features: # 如果没有已选特征退化为普通动态加权互信息 if len(selected_features) 0: cmi conditional_mutual_information(X[feat].values, y, y) # 以 y 为条件退化为 MI else: # 对每个已选特征计算 CMI取最大值代表冗余度 cmi_values [] for sel in selected_features: cmi_val conditional_mutual_information( X[feat].values, y, X[sel].values ) cmi_values.append(cmi_val) cmi min(cmi_values) # 取最小 CMI 代表这个特征带来的新信息 # 动态权重 w dynamic_weight(X[feat].values, y) scores[feat] w * cmi # 返回按分数降序排序的特征列表 return sorted(scores.items(), keylambda x: x[1], reverseTrue)这里有个设计选择要说明当已选特征多于一个时我取的是候选特征与标签在“每个已选特征条件下”的 CMI 的最小值。取最小值的含义是只要有一个已选特征已经能解释这个候选特征的大部分信息就认为它冗余。另一种做法是取平均值但实际效果偏保守容易让跟某个已选特征高度相关但跟其他不相关的新特征被误杀。取最小值更符合特征选择中“去冗余为优先”的直觉。另一个需要注意的是首次迭代时conditional_mutual_information(x, y, y)退化成互信息因为条件是标签本身算出来是I(X;Y|Y) 0这会导致第一个特征分数为 0。所以实际代码里初始迭代要用entropy(x) - conditional_entropy(x, y)直接算互信息这个细节在下面主循环的代码里体现。3.4 完整可运行的包装函数基础的打分逻辑已经清楚了但真实的特征选择流程是逐步迭代的每一步选出一个当前“新信息最多”的特征加入已选列表然后重新计算剩余候选特征的 CMI。这是一个贪心过程计算量随特征数平方级增长但特征数在 100 以内时完全可以接受。def dynamic_weighted_cmi_selection(X, y, k): 选出 top-k 特征 X: DataFrame y: Series 或 ndarray k: 要选的特征数量 selected [] candidates list(X.columns) for _ in range(k): if not selected: # 首轮用动态加权互信息 scores {} for feat in candidates: mi entropy(y) - conditional_entropy(y, X[feat].values) w dynamic_weight(X[feat].values, y) scores[feat] w * mi best max(scores, keyscores.get) else: # 后续轮动态加权条件互信息 scores {} for feat in candidates: cmi_list [] for sel in selected: cmi_val conditional_mutual_information( X[feat].values, y, X[sel].values ) cmi_list.append(cmi_val) cmi min(cmi_list) w dynamic_weight(X[feat].values, y) scores[feat] w * cmi best max(scores, keyscores.get) selected.append(best) candidates.remove(best) return selected这个函数的计算量是在每一轮里对每个候选特征做一次 CMI 计算而 CMI 内部有一次groupby([y, z])所以数据量大时速度会变慢。一个优化技巧是预先把 X 所有列转成整数编码并且用numpy数组代替pandasDataFrame 做分组能提速 30% 到 50%。pandas的groupby在循环里反复调用开销很大对性能敏感的场景要换写法。4. 把算法跑起来实验设计、对比基线与参数设定4.1 从 UCI 数据集验证卫生与癌症数据集的筛选效果要验证这个算法是否有效最直接的方式是拿一个公开数据集做特征选择再用选择后的特征子集训练一个简单模型对比全特征训练的结果。常见做法是使用 UCI 的 Breast Cancer Wisconsin 数据集它有 30 个连续特征类别是二分类。特征是连续值需要先做离散化才能喂给互信息计算函数。from sklearn.datasets import load_breast_cancer from sklearn.preprocessing import KBinsDiscretizer data load_breast_cancer() X pd.DataFrame(data.data, columnsdata.feature_names) y data.target # 连续特征离散化统一分 8 个箱 discretizer KBinsDiscretizer(n_bins8, encodeordinal, strategyquantile) X_binned discretizer.fit_transform(X) X_binned pd.DataFrame(X_binned, columnsX.columns) # 选出 top 10 特征 selected_feats dynamic_weighted_cmi_selection(X_binned, y, 10) print(selected_feats)分箱数n_bins8是一个经验值。分箱太少2 到 4会丢失太多信息分箱太多16 到 32会让条件互信息的估计方差变大因为每个数据组的样本数变少。strategyquantile分箱会让每个箱的样本量大致相等这对概率估计更友好。如果你的特征分布非常偏斜比如长尾或零膨胀quantile策略是首选。跑出来的 top 10 特征里通常会出现worst concave points、worst perimeter这类跟肿瘤形态强相关的特征。用这些特征训练逻辑回归准确率一般在 95% 以上而用全特征训练的准确率也就是这个水平甚至略低一点——原因在于 30 个特征里有不少高度相关的特征全上反而让模型学到了噪声。4.2 与互信息、卡方检验、mRMR 的对比结果怎么解读拿同样的数据用sklearn.feature_selection.mutual_info_classif跑一遍 top 10你会发现列表跟动态加权版的差异集中在“强相关但彼此冗余”的特征上。动态加权版会把mean area和area error这类高度相关的特征只留一个而普通互信息版会把两个都保留因为单看每一个它们跟标签的互信息值都很高。卡方检验更极端它只适合非负连续特征或离散特征对标准化后的负值特征会直接报错或给出无意义的结果。mRMR 的结果跟本文算法最接近但 mRMR 需要你手动设置冗余项权重beta这个参数很敏感设大了特征之间只要有一点相关就会被压掉设小了又退化成普通互信息。动态加权版本的优点是不需要你调这个参数权重由H(X)/H(X|Y)数据驱动地算出来。对比实验的推荐做法是固定同一个分类器比如逻辑回归或随机森林在同样特征数量下比较交叉验证 AUC。如果动态加权版在 top 10 时的 AUC 高于普通互信息在 top 10 时的 AUC并且两者都高于 top 20 的 AUC说明这个算法的特征排序更紧凑信息密度更高。4.3 三个关键参数分箱数、加权平滑系数和 top-k 选择这个算法没有一个参数是需要反复调才能出结果的但分箱数n_bins、平滑系数alpha和目标特征数k仍然会影响最终表现。我的经验是分箱数先固定在 8然后做一轮敏感性分析把n_bins设成 [4, 8, 12, 16]看 top 10 特征的重合度和模型 AUC 波动。这个算法对分箱数不算敏感但如果发现某个特征在 8 箱时排序靠前、在 16 箱时大幅下滑说明它的判别信息集中在少数几个取值边界上这类特征在真实场景中通常不够稳定。alpha是动态权重里的平滑项默认 0.01 在大多数情况下没问题但如果某个特征只有一个取值例如几乎全为 0 的二值特征H(X) 0H(X|Y) 0权重变成 0 / 0.01 0分数为 0。这是合理的。但如果你发现某些低方差特征分数几乎为 0可以考虑降低alpha到 0.001让权重的区分度更明显。k的选择取决于你对特征数量的约束。我的建议是你不要一开始就设k20然后直接训练而是分别跑k5, 10, 15, 20观察模型性能曲线。如果k15到k20的 AUC 提升非常小说明后 5 个特征贡献的是重复信息可以直接停在 15。5. 避坑与常见问题动态加权 CMI 最容易翻车的五个地方5.1 连续特征没有离散化直接跑结果全是零或负值现象把原始连续特征直接传给entropy()得到的结果接近 0 或出现负值特征排序完全不符合直觉。原因np.bincount或groupby对连续浮点数会按实际浮点值分组几乎每个值都独一无二每组只有一个样本熵变成 0条件熵也趋近 0产生数值退化。解决强制在预处理阶段加入离散化步骤并且用KBinsDiscretizer或pd.cut把连续特征映射为整数编码。不要用round(x, n)代替分箱那只是降低了精度没有解决分组粒度过细的问题。5.2 首轮迭代分数为 0或者第一个特征永远选不对现象按 3.3 节的初始版本跑第一个特征分数为 0程序却还是能选出一个特征但那个特征是随机被max选中的后续轮次跟着错。原因首轮代码里用conditional_mutual_information(x, y, y)来算互信息但条件等于标签时I(X;Y|Y) 0恒成立所有候选特征分数都是 0。解决首轮单独用entropy(y) - conditional_entropy(y, X[feat])计算互信息如 3.4 节已经做的。如果你从网上找代码片段碰到首轮分数全为 0 的情况优先检查条件变量是否是标签本身。5.3 分组太细导致条件熵为负现象某些特征组合下conditional_mutual_information返回负数幅度还不小能到 -0.5 的量级。原因条件熵和条件互信息的定义要求所有概率都由观测频次估计。当按(y, z)分组时如果组数非常多而每组样本很少熵的-sum(p*log(p))项是凸函数频率估计会低估熵导致两个熵相减时得到负值。这是所有基于直方图估计互信息方法的通病不是实现 bug。解决限制分箱数量特征分箱不超过 12 个确保每个(y, z)组合平均样本数不少于 5。如果数据量少于 2000 条且特征类别很多考虑先剔除低频类别或者改用更平滑的熵估计方法如sklearn里基于 k 近邻的互信息估计。5.4 已选特征过多时计算时间成倍增加却没有效果提升现象特征数 200 个要选 50 个每轮要算(200 - 已选数) * 已选数次 CMI到了第 40 轮要算 160 × 40 6400 次 CMI每次还有groupby开销跑完要十几分钟。原因贪心迭代是平方级复杂度这是算法本身的特性。解决两个策略。第一是缓存分组结果如果(y, z)组合在多次计算中重复出现提前算好条件熵结果用字典存起来。第二是限制已选特征参与冗余度计算的数量常见做法是只用得分最高的前 10 个已选特征来计算 CMI因为排序靠后的已选特征本身信息量低对冗余度评估贡献不大。这个启发式在多个数据集上效果几乎无损但能省 60% 以上时间。5.5 特征量纲不同导致分箱后信息失真现象某个数值型特征取值范围 0.0001 到 0.001另一个特征范围 1000 到 100000分箱后前者几乎都落在一个箱子里后者被分成 8 个箱。前者分数始终很低即使它其实跟标签有很强的非线性关系。原因strategyuniform按数值范围平均分箱对量纲差异大的数据不公平。quantile分箱解决的是样本量均衡问题但如果数据有大量重复值例如整数特征quantile也可能把大量相同值分到不同箱制造出不存在的区分度。解决对连续特征先做标准化或QuantileTransformer再分箱对低方差特征单独处理如果某个特征的取值种类数小于n_bins直接按取值本身做编码不要强行分箱。这个规则要写进预处理函数不能靠每次手动判断。6. 从排序结果到稳定模型一个实用技巧和验证习惯把动态加权 CMI 的特征排序结果用起来我有一个固定流程第一轮选出 top 5 特征训练基线模型第二轮把 top 10、top 15 依次加入画 AUC 曲线第三轮用排列重要性或 SHAP 验证这几个特征在模型里确实有贡献而不是只在过滤法打分里好看。具体到代码层面我习惯把选出的特征列表固定住然后用sklearn.pipeline把预处理、离散化、特征选择、模型训练串起来这样交叉验证时特征选择不会偷看测试集。动态加权 CMI 如果单独在全体数据上先跑一遍再交叉验证会有轻微的数据泄漏虽然影响通常不大但严谨起见还是放在Pipeline里对训练折内分别计算。最后一个建议是永远保留一份用随机特征或打乱标签后的排序结果作为基准。如果动态加权 CMI 在打乱标签的数据上还能选出稳定排序的特征说明你的离散化或分组过程里混入了样本顺序信息回去检查是否有特征本身携带行号信息。这类低级错误我踩过不止一次每次都是随机基准把它暴露出来的。希望这套方法和这些坑能帮你在特征选择上少走几段弯路。本文还有配套的精品资源点击获取