我正在研究机器学习中的“逻辑回归”主题。我可以理解整个概念,即它试图最大化实例属于特定类标签的可能性

该算法如果进行多次迭代,则会找到一个权重向量,将各个实例分开,然后继续增加权重向量的大小。我不明白为什么它会尝试增加权重向量的大小

任何帮助将是非常可观的!

最佳答案

我猜您的数据是线性可分离的?在IIRC中,逻辑回归在这种情况下会崩溃。我认为这是一个众所周知的问题。引用自here(在Google上首次出现“逻辑回归可分离数据”):


  ...但是,当训练数据是线性可分离的时,会发生两件事:1. |θ|。达到无限2. MLE的数量是无限的。要看到这一点,请注意两个类之间的间隙中的任何阶跃函数(带|θ| =∞的S型)都是MLE
  
  避免这种情况的一种方法是以零均值高斯的形式并以协方差1 /(2λ)I的形式合并先验θ

关于machine-learning - 机器学习中的逻辑回归,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/28736050/

10-12 19:59