当我学习Logistic回归时，我们使用负对数可能性为我们优化参数w。
因此，损失函数（负对数似然性）为L（w）。
有一个断言：当训练样本是线性可分离的时，最优w的大小可以变成无穷大。
我很困惑：
1.最优w的幅度是什么意思？
2.你能解释为什么w可以无穷大吗？
最佳答案
规范（例如，欧几里得）通常被理解为向量的大小。
假设我们进行二进制分类并且类是线性可分离的。那意味着
存在w'，使得(x1, w') ≥ 0代表来自一个类的x1，否则为(x2, w') < 0。然后考虑z = a w'给出一些肯定的a。显然，(x1, z) ≥ 0和(x2, z) < 0（我们可以将w'的方程乘以a并使用点积的线性），因此您可以看到存在无界范数的分离超平面（z s）（大小）。
这就是为什么要添加正则项的原因。
关于machine-learning - Logistic回归和最优参数w，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/25945973/