据我从this文章了解到，蓝色圆圈是水平曲线，蓝色圆点是使成本函数最小化的最佳解决方案。黄色圆圈是L2范数约束。
我们需要的解决方案是尽可能使成本函数最小化的解决方案，同时又要解决这个问题。意思是，解是黄色圆圈和水平曲线之间的切点。
但是，我的问题是，如果切点处的W值没有完全最小化成本函数，那该如何解决？只有蓝点是使成本函数最小化的点。
最佳答案
如果没有约束，则蓝点会最小化成本函数。
如果最小化受L2范数约束，则蓝点不能作为解决方案，因为它违反了约束。因此，点w *代替了。
使用L2约束的原因是我们试图将测试数据上的误差降到最小，而不是火车数据上的误差降到最低（即，我们对最小化损失函数没有直接兴趣）。更简单的解决方案（具有较小的L2范数）趋向于过拟合，因此，我们期望测试和训练误差之间的差距会更小（这是理想的）。
关于machine-learning - 切点处的解是否是最优解？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50884972/