Bias vs. Variance(1)--diagnosing bias vs. variance

我们的函数是有high bias problem(underfitting problem)还是 high variance problem(overfitting problem)，区分它们很得要，因为有助于我们提升我们的预测准确性。

bias problem(underfitting problem)/variance problem(overfitting problem)

Bias vs. Variance(1)--diagnosing bias vs. variance-LMLPHP

Training error & validation/test error 随着d的不同而变化的函数

Bias vs. Variance(1)--diagnosing bias vs. variance-LMLPHP

从图中可以看出随着d的增大，trainning error越来越小。validation error刚开始很大，随着d的增大变小，当d=2时，此时validation error 最小，随后随着d的增大而增大。

如何判断是bias problem还是variance problem

Bias vs. Variance(1)--diagnosing bias vs. variance-LMLPHP

当我们的J(θ)与J(θ)都很大,即J(θ)≈J(θ)，是bias problem(underfit)

当我们的J(θ)>>J(θ)时，是variance problem(overfit)