设置ALS.checkpointInterval时,应注意什么?较高或较低的间隔是什么意思?

最佳答案

ALS.checkpointInterval 值是指迭代次数是否为否。缓存将被检查点的次数。
例如。如果将interval设置为10,则意味着缓存将每10次迭代获得检查点一次。

检查点有助于恢复(当节点发生故障时)和由长沿袭引起的StackOverflow异常。它还有助于消除磁盘上的临时混洗文件,这在进行许多ALS迭代时非常重要。

默认值为 10 。因此,根据您的系统内存,您现在可以设置较低或较高的值

09-28 14:12