我想知道Weka的Simple Logistic Function是否使用正则化。
我没有在文档中看到任何提及,但是我不确定。有人可以确认吗?
*用于构建线性逻辑回归模型的分类器。具有简单回归函数作为基本学习器的LogitBoost用于拟合逻辑模型。交叉验证要执行的LogitBoost迭代的最佳次数,这会导致自动选择属性。有关更多信息,请参见:
Niels Landwehr,Mark Hall,Eibe Frank(2005)。物流模型树。
马克·萨姆纳(Marc Sumner),伊比·弗兰克(Eibe Frank),马克·霍尔(Mark Hall):加快逻辑模型树的归纳速度。在:第9届欧洲数据库知识发现的原理和实践会议上,675-683,2005年。
选项
调试-如果设置为true,则分类器可能会向控制台输出其他信息。
useCrossValidation-设置是要交叉验证LogitBoost迭代的次数,还是应使用训练集上的停止标准。如果未设置(并且未给出固定的迭代次数),则使用LogitBoost迭代次数,以最大程度地减少训练集上的错误(分类错误或概率错误,具体取决于errorOnProbabilities)。
errorOnProbabilities-确定最佳LogitBoost迭代次数时,将概率误差用于误差度量。如果设置,则选择LogitBoost迭代次数,以最小化均方根误差(在训练集上或在交叉验证中,具体取决于useCrossValidation)。
weightTrimBeta-在LogitBoost中设置用于修剪体重的beta值。在下一次迭代中仅使用承载前一次迭代重量的(1-beta)%的实例。设置为0表示不调整重量。默认值为0。
numBoostingIterations-为LogitBoost设置固定的迭代次数。如果> = 0,则设置要执行的LogitBoost迭代次数。如果
useAIC-AIC用于确定何时停止LogitBoost迭代(而不是交叉验证或训练错误)。
heuristicStop-如果heuristicStop> 0,则启用交叉验证LogitBoost迭代次数时贪婪停止的启发式方法。这意味着如果在最后的heuristicStop迭代中未达到新的最小错误,则LogitBoost将停止。建议使用此启发式方法,特别是在小型数据集上,它可以大大提高速度。默认值为50。
maxBoostingIterations-设置LogitBoost的最大迭代次数。默认值为500,对于非常小/大的数据集,最好使用较低/较高的值。*
最佳答案
Weka中有多个Logistic回归:
SimpleLogistic-不使用正则化
LogisticBase-不使用正则化(这是SimpleLogistic的帮助器类)
LogitBoost-不使用正则化(因为它被实现为in this paper)
Logistic-使用岭正则化(-r
参数)