Vowpal Wabbit是否在每个时间段/遍之后自动重新整理其数据?我希望创建的缓存文件将包含改组元数据,这是诸如VW的默认在线SGD方法之类的在线算法所必需的。例如。

vw -d train.txt -c --passes 50 -f train.model

如果没有,我有一个备份脚本,该脚本会在每次通过时手动对数据进行洗牌
# Create the initial regressor file
vw -d train.txt -f train.model
# For the next 49 passes, shuffle and then update the regressor file
for i in {0..49}
do
    <some script: train.txt --> shuffled_data.txt>
    vw -d shuffled_data.txt -i train.model -f train.model
done

如果大众汽车没有自动改组,那么有没有更有效的方法来执行上述代码块?不幸的是,大众的维基对此还不清楚。谢谢。

最佳答案

不,它不会洗牌。我敢打赌,这也不值得改组数据。改组非常耗费I/O。虽然以不同的混洗顺序进行两次遍历比没有混洗的两次遍更好,但是就收敛性而言,不进行混洗的10遍可能是昂贵的。

关于machine-learning - Vowpal Wabbit会在多个在线通行证中随机播放数据吗?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/20941180/

10-12 19:32