机器学习之偏差与方差的区别

偏差与方差的区别

1.bias【偏差】

• 衡量模型预测的准确性
  • 偏差越小，说明y_predictive预测值越接近y_true【真实值】，说明模型越好
  • 偏差越大，说明y_predictive预测值越偏离y_true【真实值】，说明模型越差

2.variance【方差】

• 衡量模型预测的稳定性
  • 方差越小，说明y_predictive预测值分布范围比较密集，说明模型越好
  • 方差越大，说明y_predictive预测值分布范围比较离散，说明模型越差

3.objective function 【目标函数】

o b j e c t i v e ( θ ) = L ( θ ) + Ω ( θ ) objective(θ) =L(θ)+Ω(θ) objective(θ)=L(θ)+Ω(θ)

• L(θ):损失函数，与偏差相对应
• Ω(θ):惩罚项，与方差相对应
• 最终结果使目标函数较小，偏差与方差具有相对抑制作用

4. 模型衡量说明

• 红点表示：真实值，y_true
• 蓝点表示：预测值，y_predictive
  
• 图1：低偏差，低方差。说明模型预测的准确性高，稳定性高，效果最好
• 图2：低偏差，高方差。说明模型预测的准确性高，稳定性低【每次预测的结果取值范围较大】，效果不好
• 图3：高偏差，低方差。说明模型预测的准确性低，稳定性高，效果不好
• 图4：高偏差，高方差。说明模型预测的准确性低，稳定性低，效果非常不好