有没有办法使用 Vowpal Wabbit 对回归使用梯度提升？我使用 Vowpal Wabbit 附带的各种有用的技术。我想同时尝试梯度提升，但我找不到在 VW 上实现梯度提升的方法。
最佳答案
gradient boosting的想法是从黑盒弱模型构建整体模型。您当然可以使用 VW 作为黑盒，但请注意，VW 不提供决策树，这是 boosting 中黑盒弱模型最受欢迎的选择。 Boosting 通常会减少偏差(并增加方差)，因此您应该确保 VW 模型具有低方差(没有过度拟合)。见 bias-variance tradeoff 。
大众汽车有一些与提升和装袋相关的减少:
--autolink N添加了具有多项式N的链接函数，可以将其视为提升的简单方法。 --log_multi K是用于K类分类的在线增强算法。见 the paper 。您甚至可以将它用于二元分类 (K=2)，但不能用于回归。 --bootstrap M M-way bootstrap 通过在线重要性重采样。使用 --bs_type=vote 进行分类，使用 --bs_type=mean 进行回归。请注意，这是 bagging ，而不是提升。 --boosting N(于 2015-06-17 添加)与 N 个弱学习器的在线提升，参见 a theoretic paper 关于machine-learning - Vowpal Wabbit 上的梯度提升，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/30008991/