之前有不少人问过我在 scikit-learn 里直接SVC.fit(X, y)y 传多类标签跑出来结果还挺好于是以为“支持向量机天生就支持多分类”。实际上原始 SVM 的数学形式只解决二分类一个超平面把样本劈成正负两侧它压根没有“类别 3”的概念。你在框架里拿到的多分类结果全是框架在背后替你拆解、组合后的产物。多分类-支持向量机Multi-SVM的三种实现策略就是指“如何把一个多分类任务改造成多个二分类任务”的不同套路。这篇内容适合三类人正在用 SVM 做分类但只停留在调库、没搞懂背后拆解逻辑的开发者需要从 OvR、OvO、ECOC 里做选型的算法工程师以及面试前想把多分类 SVM 讲清楚的求职者。我会把三种策略的原理、代码、优劣和坑全部拆开讲最后给出我实际项目里的选型经验。1. 先破题SVM 天生是二分类模型多分类拆解要回答的三个问题1.1 超平面只会“一刀两断”SVM 的核心是寻找一个最大化间隔的决策超平面数学形式是[ \min_{w,b} \frac{1}{2}|w|^2 \quad \text{s.t.} \quad y_i(w\cdot x_i b) \ge 1 ]这里面 (y_i) 的取值只有 ( {-1, 1} )所以原始优化问题的输出sign(w·xb)只有两种结果。就算你把一个 20 分类任务的标签直接塞进去SVM 也不知道“类别 3”和“类别 17”之间的关系——它只会机械地二分化。1.2 拆解的基本思路把多分类切成一组二分类既然原生 SVM 只会做二分类多分类就必须“拆开打”。业界主流的拆解路线有二按“一个类别 vs 其余所有”拆分一个分类器对应一个类别这就是 One-vs-RestOvR按“每两个类别互相打”拆分每对类别训练一个分类器再让它们投票这就是 One-vs-OneOvO按“编码 解码”拆分给每个类别分配一段二进制码训练一组分类器后按距离解码这就是纠错输出码ECOC。这三条路线就是本项目标题里“三种实现策略”的源头。1.3 拆解之后必须解决的关键问题拆分只是第一步。拆完之后你立刻会遇到三个新问题不同库的实现差异也恰恰体现在这里每个二分类器的训练集怎么构建OvR 是“一类 vs 其余全量”OvO 是“两类各取样本”ECOC 是按编码列分组多个二分类器的输出如何融合是取最大决策值、投票还是比汉明距离融合方式决定了最终预测的稳定性类别不平衡和决策值尺度不一致怎么处理这是实践中踩坑最多的地方比如 OvR 中负类样本远多于正类或者两个分类器输出的“距离”根本不在同一个量纲上直接比较没有意义。理解这三个问题再回头看三种策略的源码就会豁然开朗。下面我逐个策略展开。2. 策略一One-vs-Rest一对多——思路最直白但坑也最隐蔽2.1 训练阶段K 次二分类假设总共有 K 个类别。OvR 的做法是训练 K 个 SVM第 i 个分类器把“类别 i”当作正类1把其余 K-1 个类别全部合并成负类-1。预测时K 个分类器全部对样本做决策每个分类器输出一个决策值样本到超平面的带符号距离最后取决策值最大的类别作为预测结果。之所以取“最大”而不是“正类胜出”是因为可能出现多个分类器都判正类的情况这时候只能比谁更“自信”。2.2 代码落地10 行跑通 OvR在 scikit-learn 里OvR 最直接的实现是LinearSVC它默认就是multi_classovrfrom sklearn.svm import LinearSVC from sklearn.datasets import load_iris from sklearn.model_selection import cross_val_score X, y load_iris(return_X_yTrue) # LinearSVC 默认 multi_classovr不用额外设置 model LinearSVC(random_state42) scores cross_val_score(model, X, y, cv5) print(平均准确率:, scores.mean())还可以显式写出包装器OneVsRestClassifier它对任意二分类器都有效from sklearn.svm import SVC from sklearn.multiclass import OneVsRestClassifier clf OneVsRestClassifier(SVC(kernelrbf)) clf.fit(X, y) decision clf.decision_function(X) # 每列对应一个类别的决策值 print(decision.shape) # (n_samples, n_classes)2.3 OvR 的三个隐蔽坑OvR 表面简单但实际用起来有几个问题非常容易翻车坑一负类合并导致的大类淹没。类别数 K 越大每个二分类器里负类样本占比越高。假设 10 个类别且样本均衡每个分类器的正类只占 1/10负类占 9/10。class_weightbalanced是对付这个问题最简单的手段让 SVM 在训练时给正类错误更高的惩罚。坑二决策值无法跨分类器比较。SVM 输出的决策值是“样本到超平面的几何距离的度量”但不同分类器的超平面位置、尺度都不一样。A 分类器给出决策值 0.7B 分类器给出 0.5能不能说“模型更倾向于 A”严格来说不能因为量纲不同。要跨模型比较最好先把每个分类器的输出校准成概率而不是直接对原始决策值取 argmax。坑三重叠区域与全负区域。一个样本可能被两个分类器同时判正也可能被所有分类器判负。后者说明样本落入了决策边界之外的真空地带这时候你只能选“负得最轻”的那个类别置信度其实很低。如果业务对置信度敏感务必要做概率校准。提示在类别较多或类别不平衡时OvR 的默认做法容易产生系统性偏差。建议训练时加class_weightbalanced预测前用CalibratedClassifierCV做概率校准再去取最大概率类。2.4 什么场景优先选 OvR我个人的经验是当 K 不超过 10、类别相对均衡或者特征维度很高、必须用线性核时OvR 是务实首选。因为线性 SVM 在大规模稀疏特征比如文本 TF-IDF上训练极快OvR 只训练 K 个模型推理时也只需计算 K 个决策函数时延完全可控。3. 策略二One-vs-One一对一——LibSVM 默认的“两两 PK”路线3.1 训练阶段N(N-1)/2 次配对比赛OvO 的思路和 OvR 完全不同它为每一对类别训练一个二分类器。K 个类别一共需要[ \frac{K(K-1)}{2} ]个 SVM。每个子分类器只拿这两个类别的原始样本训练负类不再“合并”因此每个子问题都相当干净。预测时所有子分类器对样本投票最终得票最多的类别胜出如果出现平票实际实现中一般取索引较小的那个类别。3.2 用 SVC 实现 OvO默认就是它注意一个细节sklearn.svm.SVC的多分类内部实现就是 OvO这是继承自 LIBSVM 的设计。你不需要额外设置multi_classdecision_function_shape只改变decision_function的返回列数不改变训练方式from sklearn.svm import SVC model SVC(kernelrbf, decision_function_shapeovo) model.fit(X, y) # ovr 形状返回 (n_samples, n_classes) decision_ovr model.decision_function(X) # ovo 形状返回 (n_samples, n_classes*(n_classes-1)/2) model.set_params(decision_function_shapeovo) decision_ovo model.decision_function(X)如果你想让任意二分类器走 OvO 路线可以用通用包装器OneVsOneClassifierfrom sklearn.multiclass import OneVsOneClassifier clf OneVsOneClassifier(SVC(kernelrbf)) clf.fit(X, y)3.3 为什么 LibSVM 在多分类上默认用 OvO核心原因有两个工程实现简单且天然局部。每个子问题只涉及两个类别的样本训练数据量小而且不会出现 OvR 那种“负类样本总数压过正类”的不平衡局面。类别不平衡的缓解是结构性的。在 OvR 中即使设置class_weight本质上还是在对“合并出来的负类”做补偿而 OvO 中每个分类器只面对两个类子问题天然更平衡。代价也非常明显模型数量是 (O(K^2))类别数一多立刻爆炸。20 个类别需要 190 个分类器50 个类别需要 1225 个每个子分类器只见过两类样本在全局边界附近缺乏“第三类”信息投票只数票数、不看“赢多少”一个分类器以微弱优势获胜和以绝对优势获胜权重一样。3.4 概率校准与平票处理如果你想用 OvO 拿概率SVC(probabilityTrue)会在 Platt 缩放基础上再做pairwise coupling把两两比较的输出耦合为一个统一的概率分布。但这个开关会显著增加训练开销内部要多做交叉验证来拟合缩放参数。业务上只需要排序或取 Top-K 时用decision_function就够了。平票处理也值得留意当多个类别得票一样多时不同库可能有不同行为。scikit-learn 的 SVC 会返回classes_[argmax(vote_result)]在票数相同的情况下索引小的类胜出。这在小数据集上不太容易被注意到但在很多类别的任务里可能影响边界样本的最终输出。3.5 什么场景优先选 OvO我做过的分类实验中样本量中等几千到几万、类别数不超过 15、需要非线性边界时直接用SVC(kernelrbf)默认的 OvO精度通常比 OvR 稳定。原因还是那句话RBF 核的局部决策函数配合“两两对决”在复杂边界上的刻画能力更强。4. 策略三纠错输出码与原生多类 SVM——两条进阶路线前两种策略本质上都是“拆解后再融合”。第三种策略可以走两条路一条是ECOC纠错输出码工程上可操作性强另一条是原生多类 SVM直接修改目标函数多个超平面一起联合优化。两条都值得理解。4.1 ECOC给每个类别发一段“密码”用汉明距离解码ECOC 的核心做法分三步编码给每个类别分配一个长度为 L 的二进制码L 通常不小于 K。第 i 个类别的编码可以视为它在 L 个二分类任务上的“标签说明”训练训练 L 个二分类器。第 j 个分类器把编码第 j 位为 1 的所有类别合并成正类把第 j 位为 0 的所有类别合并成负类。注意实践中常用三值编码 ({ -1, 0, 1})0 表示该分类器直接忽略某个类别解码预测时L 个分类器输出一个长度为 L 的向量把这个向量与每个类别的编码计算汉明距离距离最小的类别获胜。为什么叫“纠错输出码”因为如果某个二分类器预测错了输出向量的某些位就翻转了只要翻转的位数不超过编码最小距离的一半汉明距离解码仍然能找回正确的类别。这相当于给“二分类器集合”加了一层冗余保护。一个简化版的自定义实现思路如下import numpy as np from sklearn.svm import SVC from sklearn.model_selection import train_test_split # 假设 K4 个类别L6 个基分类器 rng np.random.RandomState(0) K, L 4, 6 codebook rng.choice([-1, 1], size(K, L)) def fit_ecoc(X, y, codebook): estimators [] for j in range(codebook.shape[1]): # 第 j 列编码为 1 的类视为正类-1 视为负类 pos_mask np.isin(y, np.where(codebook[:, j] 1)[0]) neg_mask np.isin(y, np.where(codebook[:, j] -1)[0]) y_bin np.zeros(len(y)) y_bin[pos_mask] 1 y_bin[neg_mask] -1 # 注意有些类别可能被本列忽略编码为 0 trainable pos_mask | neg_mask clf SVC(kernelrbf) clf.fit(X[trainable], y_bin[trainable]) estimators.append(clf) return estimators def predict_ecoc(X, estimators, codebook): votes np.array([clf.predict(X) for clf in estimators]).T # (n, L) pred [] for v in votes: distances [np.sum(v ! code) for code in codebook] pred.append(np.argmin(distances)) return np.array(pred)如果不用汉明距离这种硬编码输出还可以用连续决策值算欧氏距离效果通常更好——因为决策值保留了“赢多少”的信息而不是把每个分类器压成硬标签。4.2 ECOC 的坑码长、码随机性与过拟合ECOC 的效果非常依赖编码矩阵设计码长 L 过小纠错能力不足解码结果对单个分类器错误很敏感码长 L 过大训练成本线性上涨而且可能出现“编码过于冗余、单个二分类器学到噪声”的问题随机码有方差同一个任务换一组随机码最终精度可能波动。实际做法是生成多组候选码用交叉验证挑一组效果最好的。使用 ECOC 时另一个容易忽略的点是每个基分类器的训练集大小由编码决定。某些编码列可能只有很少的类别参与训练大量 0导致这个分类器的正负样本严重失衡。设计编码矩阵时要尽量保证每一列的正负样本量接近。4.3 原生多类 SVM一次优化 K 个超平面跳过“拆解 融合”直接把多分类写成一个联合优化问题这就是原生多类 SVM。它的核心思想是训练 K 个超平面 (w_1, ..., w_K)要求对于样本 (x)真实类别 (y) 的超平面得分 (w_y \cdot x) 不仅要是最高的还要比所有其他类别的得分至少高出一个 margin[ w_y \cdot x - w_{c} \cdot x \ge 1 - \xi, \quad \forall c \ne y ]在 scikit-learn 里LinearSVC(multi_classcrammer_singer)就是这种思路的一种工程实现。它只训练 K 个超平面不需要两两配对。优点很明显理论统一、模型数量只有 K 个、没有 OvR 的负类合并偏斜。缺点也很现实联合优化问题的求解通常比 OvR/OvO 更复杂大规模数据上收敛慢工程库支持少。除了LinearSVC提供这个选项绝大多数框架不会默认使用它在大量实测数据上它的精度优势并不稳定。很多基准实验里精心调参的 OvO 或 OvR 并不逊色于原生多类。4.4 原生多类的定位学术对照组而非业务默认项理解原生多类的价值在于当你去读LinearSVC的multi_class参数文档、或者看到论文里出现“多类 margin 损失”时不会一脸懵。但你不需要在业务系统里强行使用它。就我的经验而言跑跑它和 OvR 的对比更多是为了验证“拆解方案损失了多少信息”而不是为了上线时选它。5. 实战选型三种策略在真实任务中的对比与切换建议5.1 一张表看全景策略分类器数量训练样本拆分预测融合方式主要优点主要缺点OvRK每类 vs 其余全量取最大决策值 / 最大概率模型少、推理快、接口简单负类合并导致偏斜决策值跨模型不可比OvOK(K-1)/2每对类别各取样本投票 / pairwise 概率子问题干净、精度通常稳定模型数量平方级增长训练耗时高ECOCLL ≥ K按编码列分组汉明距离 / 欧氏距离有纠错能力、设计灵活实现复杂码长与码随机性需要调原生多类K所有样本参与一个联合优化最大得分类理论统一、模型数少库支持少大规模收敛慢收益不稳定5.2 我自己用下来的选型经验这里直接给结论省得你在不同策略之间反复试场景一小样本 非线性边界 类别数 ≤ 15。不要犹豫用SVC(kernelrbf)它内部就是 OvO。RBF 核的局部刻画能力配合两两对决通常能拿到稳定且不错的结果。牺牲一点时间换来少踩坑。场景二高维稀疏特征 追求速度。文本分类、稀疏特征、几万几十万样本优先LinearSVC默认 OvR记得加class_weightbalanced。我在一个文本多分类任务上20 个类别、几万样本同样精度要求下LinearSVC(OvR) 训练只要几分钟而 SVC(RBF) 的 OvO 要训练几百个核模型跑几个小时都未必收敛。场景三类别数极多50 以上。OvO 直接不可行K(K-1)/2 会迅速突破一千个分类器。OvR 是最务实的方案。如果业务对误分类方向特别敏感可以考虑 ECOC 用冗余编码分摊单个分类器的失误。场景四需要概率输出或不确定性估计。用 OvR 配CalibratedClassifierCV或者用 OvO 配SVC(probabilityTrue)。注意概率校准会增加不少训练时间如果只是排序或取 Top-K用原始决策值即可。5.3 与调参、不平衡、概率要求联动的几个提醒最后再说几个我实际踩过的坑不要跨策略直接比较原始决策值。同一个decision_function在ovo和ovr输出形状和物理含义都不同写代码时要注意列数class_weight对所有策略都有意义但作用位置不同。OvR 里它对抗“负类合并”的不平衡OvO 里它处理“某一对类别本身样本量悬殊”两者都需要分别设置SVC 的probabilityTrue会显著变慢。因为 Platt 缩放需要把训练集再交叉验证一遍。你在大数据集上想要概率优先考虑 LinearSVC CalibratedClassifierCV而不是直接开 SVC 的概率开关全局参数共享是三个策略共同的简化假设。你为整个模型搜出的 C 和 gamma 会应用到所有子分类器上实际上每个子问题的最佳参数未必相同但为每个子问题单独调参是不现实的。所以先花时间把全局参数调好比纠结选哪种策略更重要。我自己跑过不少分类任务最深的感触是在 iris 这种小数据集上三种策略的差异几乎看不出来一旦类别数超过 10、样本几千条、特征几百维OvO 和 OvR 在训练时间上的差距就不是百分之几十而是几倍到几十倍。有一次做一个 20 类别的业务分类用 SVC(RBF) 的 OvO 跑了一整晚换成 LinearSVC(OvR) 加 balanced 类别权重后五分钟跑完精度只掉了 1% 出头。这种取舍在真实业务里往往才是决定性的——别迷信“哪种策略理论最优”先看清你的类别数、样本量和算力再决定怎么拆解。 
长河君 · 2026/10/20 18:14:17 · 阅读 1.2k 多分类支持向量机三种实现策略：OvR、OvO与ECOC深度解析
之前有不少人问过我在 scikit-learn 里直接SVC.fit(X, y)y 传多类标签跑出来结果还挺好于是以为“支持向量机天生就支持多分类”。实际上原始 SVM 的数学形式只解决二分类一个超平面把样本劈成正负两侧它压根没有“类别 3”的概念。你在框架里拿到的多分类结果全是框架在背后替你拆解、组合后的产物。多分类-支持向量机Multi-SVM的三种实现策略就是指“如何把一个多分类任务改造成多个二分类任务”的不同套路。这篇内容适合三类人正在用 SVM 做分类但只停留在调库、没搞懂背后拆解逻辑的开发者需要从 OvR、OvO、ECOC 里做选型的算法工程师以及面试前想把多分类 SVM 讲清楚的求职者。我会把三种策略的原理、代码、优劣和坑全部拆开讲最后给出我实际项目里的选型经验。1. 先破题SVM 天生是二分类模型多分类拆解要回答的三个问题1.1 超平面只会“一刀两断”SVM 的核心是寻找一个最大化间隔的决策超平面数学形式是[ \min_{w,b} \frac{1}{2}|w|^2 \quad \text{s.t.} \quad y_i(w\cdot x_i b) \ge 1 ]这里面 (y_i) 的取值只有 ( {-1, 1} )所以原始优化问题的输出sign(w·xb)只有两种结果。就算你把一个 20 分类任务的标签直接塞进去SVM 也不知道“类别 3”和“类别 17”之间的关系——它只会机械地二分化。1.2 拆解的基本思路把多分类切成一组二分类既然原生 SVM 只会做二分类多分类就必须“拆开打”。业界主流的拆解路线有二按“一个类别 vs 其余所有”拆分一个分类器对应一个类别这就是 One-vs-RestOvR按“每两个类别互相打”拆分每对类别训练一个分类器再让它们投票这就是 One-vs-OneOvO按“编码 解码”拆分给每个类别分配一段二进制码训练一组分类器后按距离解码这就是纠错输出码ECOC。这三条路线就是本项目标题里“三种实现策略”的源头。1.3 拆解之后必须解决的关键问题拆分只是第一步。拆完之后你立刻会遇到三个新问题不同库的实现差异也恰恰体现在这里每个二分类器的训练集怎么构建OvR 是“一类 vs 其余全量”OvO 是“两类各取样本”ECOC 是按编码列分组多个二分类器的输出如何融合是取最大决策值、投票还是比汉明距离融合方式决定了最终预测的稳定性类别不平衡和决策值尺度不一致怎么处理这是实践中踩坑最多的地方比如 OvR 中负类样本远多于正类或者两个分类器输出的“距离”根本不在同一个量纲上直接比较没有意义。理解这三个问题再回头看三种策略的源码就会豁然开朗。下面我逐个策略展开。2. 策略一One-vs-Rest一对多——思路最直白但坑也最隐蔽2.1 训练阶段K 次二分类假设总共有 K 个类别。OvR 的做法是训练 K 个 SVM第 i 个分类器把“类别 i”当作正类1把其余 K-1 个类别全部合并成负类-1。预测时K 个分类器全部对样本做决策每个分类器输出一个决策值样本到超平面的带符号距离最后取决策值最大的类别作为预测结果。之所以取“最大”而不是“正类胜出”是因为可能出现多个分类器都判正类的情况这时候只能比谁更“自信”。2.2 代码落地10 行跑通 OvR在 scikit-learn 里OvR 最直接的实现是LinearSVC它默认就是multi_classovrfrom sklearn.svm import LinearSVC from sklearn.datasets import load_iris from sklearn.model_selection import cross_val_score X, y load_iris(return_X_yTrue) # LinearSVC 默认 multi_classovr不用额外设置 model LinearSVC(random_state42) scores cross_val_score(model, X, y, cv5) print(平均准确率:, scores.mean())还可以显式写出包装器OneVsRestClassifier它对任意二分类器都有效from sklearn.svm import SVC from sklearn.multiclass import OneVsRestClassifier clf OneVsRestClassifier(SVC(kernelrbf)) clf.fit(X, y) decision clf.decision_function(X) # 每列对应一个类别的决策值 print(decision.shape) # (n_samples, n_classes)2.3 OvR 的三个隐蔽坑OvR 表面简单但实际用起来有几个问题非常容易翻车坑一负类合并导致的大类淹没。类别数 K 越大每个二分类器里负类样本占比越高。假设 10 个类别且样本均衡每个分类器的正类只占 1/10负类占 9/10。class_weightbalanced是对付这个问题最简单的手段让 SVM 在训练时给正类错误更高的惩罚。坑二决策值无法跨分类器比较。SVM 输出的决策值是“样本到超平面的几何距离的度量”但不同分类器的超平面位置、尺度都不一样。A 分类器给出决策值 0.7B 分类器给出 0.5能不能说“模型更倾向于 A”严格来说不能因为量纲不同。要跨模型比较最好先把每个分类器的输出校准成概率而不是直接对原始决策值取 argmax。坑三重叠区域与全负区域。一个样本可能被两个分类器同时判正也可能被所有分类器判负。后者说明样本落入了决策边界之外的真空地带这时候你只能选“负得最轻”的那个类别置信度其实很低。如果业务对置信度敏感务必要做概率校准。提示在类别较多或类别不平衡时OvR 的默认做法容易产生系统性偏差。建议训练时加class_weightbalanced预测前用CalibratedClassifierCV做概率校准再去取最大概率类。2.4 什么场景优先选 OvR我个人的经验是当 K 不超过 10、类别相对均衡或者特征维度很高、必须用线性核时OvR 是务实首选。因为线性 SVM 在大规模稀疏特征比如文本 TF-IDF上训练极快OvR 只训练 K 个模型推理时也只需计算 K 个决策函数时延完全可控。3. 策略二One-vs-One一对一——LibSVM 默认的“两两 PK”路线3.1 训练阶段N(N-1)/2 次配对比赛OvO 的思路和 OvR 完全不同它为每一对类别训练一个二分类器。K 个类别一共需要[ \frac{K(K-1)}{2} ]个 SVM。每个子分类器只拿这两个类别的原始样本训练负类不再“合并”因此每个子问题都相当干净。预测时所有子分类器对样本投票最终得票最多的类别胜出如果出现平票实际实现中一般取索引较小的那个类别。3.2 用 SVC 实现 OvO默认就是它注意一个细节sklearn.svm.SVC的多分类内部实现就是 OvO这是继承自 LIBSVM 的设计。你不需要额外设置multi_classdecision_function_shape只改变decision_function的返回列数不改变训练方式from sklearn.svm import SVC model SVC(kernelrbf, decision_function_shapeovo) model.fit(X, y) # ovr 形状返回 (n_samples, n_classes) decision_ovr model.decision_function(X) # ovo 形状返回 (n_samples, n_classes*(n_classes-1)/2) model.set_params(decision_function_shapeovo) decision_ovo model.decision_function(X)如果你想让任意二分类器走 OvO 路线可以用通用包装器OneVsOneClassifierfrom sklearn.multiclass import OneVsOneClassifier clf OneVsOneClassifier(SVC(kernelrbf)) clf.fit(X, y)3.3 为什么 LibSVM 在多分类上默认用 OvO核心原因有两个工程实现简单且天然局部。每个子问题只涉及两个类别的样本训练数据量小而且不会出现 OvR 那种“负类样本总数压过正类”的不平衡局面。类别不平衡的缓解是结构性的。在 OvR 中即使设置class_weight本质上还是在对“合并出来的负类”做补偿而 OvO 中每个分类器只面对两个类子问题天然更平衡。代价也非常明显模型数量是 (O(K^2))类别数一多立刻爆炸。20 个类别需要 190 个分类器50 个类别需要 1225 个每个子分类器只见过两类样本在全局边界附近缺乏“第三类”信息投票只数票数、不看“赢多少”一个分类器以微弱优势获胜和以绝对优势获胜权重一样。3.4 概率校准与平票处理如果你想用 OvO 拿概率SVC(probabilityTrue)会在 Platt 缩放基础上再做pairwise coupling把两两比较的输出耦合为一个统一的概率分布。但这个开关会显著增加训练开销内部要多做交叉验证来拟合缩放参数。业务上只需要排序或取 Top-K 时用decision_function就够了。平票处理也值得留意当多个类别得票一样多时不同库可能有不同行为。scikit-learn 的 SVC 会返回classes_[argmax(vote_result)]在票数相同的情况下索引小的类胜出。这在小数据集上不太容易被注意到但在很多类别的任务里可能影响边界样本的最终输出。3.5 什么场景优先选 OvO我做过的分类实验中样本量中等几千到几万、类别数不超过 15、需要非线性边界时直接用SVC(kernelrbf)默认的 OvO精度通常比 OvR 稳定。原因还是那句话RBF 核的局部决策函数配合“两两对决”在复杂边界上的刻画能力更强。4. 策略三纠错输出码与原生多类 SVM——两条进阶路线前两种策略本质上都是“拆解后再融合”。第三种策略可以走两条路一条是ECOC纠错输出码工程上可操作性强另一条是原生多类 SVM直接修改目标函数多个超平面一起联合优化。两条都值得理解。4.1 ECOC给每个类别发一段“密码”用汉明距离解码ECOC 的核心做法分三步编码给每个类别分配一个长度为 L 的二进制码L 通常不小于 K。第 i 个类别的编码可以视为它在 L 个二分类任务上的“标签说明”训练训练 L 个二分类器。第 j 个分类器把编码第 j 位为 1 的所有类别合并成正类把第 j 位为 0 的所有类别合并成负类。注意实践中常用三值编码 ({ -1, 0, 1})0 表示该分类器直接忽略某个类别解码预测时L 个分类器输出一个长度为 L 的向量把这个向量与每个类别的编码计算汉明距离距离最小的类别获胜。为什么叫“纠错输出码”因为如果某个二分类器预测错了输出向量的某些位就翻转了只要翻转的位数不超过编码最小距离的一半汉明距离解码仍然能找回正确的类别。这相当于给“二分类器集合”加了一层冗余保护。一个简化版的自定义实现思路如下import numpy as np from sklearn.svm import SVC from sklearn.model_selection import train_test_split # 假设 K4 个类别L6 个基分类器 rng np.random.RandomState(0) K, L 4, 6 codebook rng.choice([-1, 1], size(K, L)) def fit_ecoc(X, y, codebook): estimators [] for j in range(codebook.shape[1]): # 第 j 列编码为 1 的类视为正类-1 视为负类 pos_mask np.isin(y, np.where(codebook[:, j] 1)[0]) neg_mask np.isin(y, np.where(codebook[:, j] -1)[0]) y_bin np.zeros(len(y)) y_bin[pos_mask] 1 y_bin[neg_mask] -1 # 注意有些类别可能被本列忽略编码为 0 trainable pos_mask | neg_mask clf SVC(kernelrbf) clf.fit(X[trainable], y_bin[trainable]) estimators.append(clf) return estimators def predict_ecoc(X, estimators, codebook): votes np.array([clf.predict(X) for clf in estimators]).T # (n, L) pred [] for v in votes: distances [np.sum(v ! code) for code in codebook] pred.append(np.argmin(distances)) return np.array(pred)如果不用汉明距离这种硬编码输出还可以用连续决策值算欧氏距离效果通常更好——因为决策值保留了“赢多少”的信息而不是把每个分类器压成硬标签。4.2 ECOC 的坑码长、码随机性与过拟合ECOC 的效果非常依赖编码矩阵设计码长 L 过小纠错能力不足解码结果对单个分类器错误很敏感码长 L 过大训练成本线性上涨而且可能出现“编码过于冗余、单个二分类器学到噪声”的问题随机码有方差同一个任务换一组随机码最终精度可能波动。实际做法是生成多组候选码用交叉验证挑一组效果最好的。使用 ECOC 时另一个容易忽略的点是每个基分类器的训练集大小由编码决定。某些编码列可能只有很少的类别参与训练大量 0导致这个分类器的正负样本严重失衡。设计编码矩阵时要尽量保证每一列的正负样本量接近。4.3 原生多类 SVM一次优化 K 个超平面跳过“拆解 融合”直接把多分类写成一个联合优化问题这就是原生多类 SVM。它的核心思想是训练 K 个超平面 (w_1, ..., w_K)要求对于样本 (x)真实类别 (y) 的超平面得分 (w_y \cdot x) 不仅要是最高的还要比所有其他类别的得分至少高出一个 margin[ w_y \cdot x - w_{c} \cdot x \ge 1 - \xi, \quad \forall c \ne y ]在 scikit-learn 里LinearSVC(multi_classcrammer_singer)就是这种思路的一种工程实现。它只训练 K 个超平面不需要两两配对。优点很明显理论统一、模型数量只有 K 个、没有 OvR 的负类合并偏斜。缺点也很现实联合优化问题的求解通常比 OvR/OvO 更复杂大规模数据上收敛慢工程库支持少。除了LinearSVC提供这个选项绝大多数框架不会默认使用它在大量实测数据上它的精度优势并不稳定。很多基准实验里精心调参的 OvO 或 OvR 并不逊色于原生多类。4.4 原生多类的定位学术对照组而非业务默认项理解原生多类的价值在于当你去读LinearSVC的multi_class参数文档、或者看到论文里出现“多类 margin 损失”时不会一脸懵。但你不需要在业务系统里强行使用它。就我的经验而言跑跑它和 OvR 的对比更多是为了验证“拆解方案损失了多少信息”而不是为了上线时选它。5. 实战选型三种策略在真实任务中的对比与切换建议5.1 一张表看全景策略分类器数量训练样本拆分预测融合方式主要优点主要缺点OvRK每类 vs 其余全量取最大决策值 / 最大概率模型少、推理快、接口简单负类合并导致偏斜决策值跨模型不可比OvOK(K-1)/2每对类别各取样本投票 / pairwise 概率子问题干净、精度通常稳定模型数量平方级增长训练耗时高ECOCLL ≥ K按编码列分组汉明距离 / 欧氏距离有纠错能力、设计灵活实现复杂码长与码随机性需要调原生多类K所有样本参与一个联合优化最大得分类理论统一、模型数少库支持少大规模收敛慢收益不稳定5.2 我自己用下来的选型经验这里直接给结论省得你在不同策略之间反复试场景一小样本 非线性边界 类别数 ≤ 15。不要犹豫用SVC(kernelrbf)它内部就是 OvO。RBF 核的局部刻画能力配合两两对决通常能拿到稳定且不错的结果。牺牲一点时间换来少踩坑。场景二高维稀疏特征 追求速度。文本分类、稀疏特征、几万几十万样本优先LinearSVC默认 OvR记得加class_weightbalanced。我在一个文本多分类任务上20 个类别、几万样本同样精度要求下LinearSVC(OvR) 训练只要几分钟而 SVC(RBF) 的 OvO 要训练几百个核模型跑几个小时都未必收敛。场景三类别数极多50 以上。OvO 直接不可行K(K-1)/2 会迅速突破一千个分类器。OvR 是最务实的方案。如果业务对误分类方向特别敏感可以考虑 ECOC 用冗余编码分摊单个分类器的失误。场景四需要概率输出或不确定性估计。用 OvR 配CalibratedClassifierCV或者用 OvO 配SVC(probabilityTrue)。注意概率校准会增加不少训练时间如果只是排序或取 Top-K用原始决策值即可。5.3 与调参、不平衡、概率要求联动的几个提醒最后再说几个我实际踩过的坑不要跨策略直接比较原始决策值。同一个decision_function在ovo和ovr输出形状和物理含义都不同写代码时要注意列数class_weight对所有策略都有意义但作用位置不同。OvR 里它对抗“负类合并”的不平衡OvO 里它处理“某一对类别本身样本量悬殊”两者都需要分别设置SVC 的probabilityTrue会显著变慢。因为 Platt 缩放需要把训练集再交叉验证一遍。你在大数据集上想要概率优先考虑 LinearSVC CalibratedClassifierCV而不是直接开 SVC 的概率开关全局参数共享是三个策略共同的简化假设。你为整个模型搜出的 C 和 gamma 会应用到所有子分类器上实际上每个子问题的最佳参数未必相同但为每个子问题单独调参是不现实的。所以先花时间把全局参数调好比纠结选哪种策略更重要。我自己跑过不少分类任务最深的感触是在 iris 这种小数据集上三种策略的差异几乎看不出来一旦类别数超过 10、样本几千条、特征几百维OvO 和 OvR 在训练时间上的差距就不是百分之几十而是几倍到几十倍。有一次做一个 20 类别的业务分类用 SVC(RBF) 的 OvO 跑了一整晚换成 LinearSVC(OvR) 加 balanced 类别权重后五分钟跑完精度只掉了 1% 出头。这种取舍在真实业务里往往才是决定性的——别迷信“哪种策略理论最优”先看清你的类别数、样本量和算力再决定怎么拆解。