当多GPU树形拓扑构建完毕,数据预缓冲到GPU显存,开始进入多GPU并行训练。Caffe的Solver提供了两个用于多GPU训练的回调函数:on_start()和on_gradient_ready()。如图4-5所示,on_start函数用于将参数分发拷贝到每一个GPU中,on_gradeint_ready函数用于归约反向传播的梯度值。

05-27 23:43