机器学习基础理论 - 偏差 vs 方差，欠拟合 vs 过拟合

定义

• 记在训练集 D 上学得的模型为

  f(x;D)

  模型的期望预测为 $$ \hat{f}(x) = E_D [f(x;D)] $$

• 偏差（Bias） $$ bias^2(x) = (\hat{f}(x) - y)^2 $$

  偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；

• 方差（Variance） $$ var(x) = E_D[(f(x;D) - \hat{f}(x))^2] $$

  方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响（模型的稳定性）；

  $$ \varepsilon^2 = E_D[(y_D-y)^2] $$

• 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

• “偏差-方差分解”表明模型的泛化能力是由算法的能力、数据的充分性、任务本身的难度共同决定的。

理解概念

• 偏差： 表示模型在训练集上的表现，与