我正在尝试对我的神经网络实施小批量训练,而不是“在线”随机更新每个训练样本的权重的方法。
我在C语言中开发了一个新的神经网络,通过它我可以调整每一层的神经元数量、激活函数等,这有助于我理解神经网络。我已经在mnist数据集上训练了网络,但是在训练集上大约要花200个周期才能降到20%的错误率,这对我来说是非常糟糕的。我目前正在使用在线随机梯度体面训练网络。我想尝试的是使用小批量。我理解这样一个概念:在传播错误之前,我必须累积并平均每个训练样本的错误。当我想计算重量的变化时,我的问题就来了。为了更好地解释这一点,考虑一个非常简单的感知器模型。一个输入,一个隐藏层一个输出。为了计算我需要对输入和隐藏单元之间的权重所做的更改,我将使用以下公式:
∂C/∂w1=∂C/∂O*∂O/∂h*∂h/∂w1
如果你做偏导数,你会得到:
∂C/∂w1=(输出预期答案)(w2)(输入)
现在这个公式告诉你,你需要用输入乘以反向误差。对于在线随机训练来说,这是有意义的,因为你使用每个重量更新一个输入。对于小批量训练,您使用了许多输入,所以误差乘以哪个输入?
我希望你能帮助我。

void propogateBack(void){


    //calculate 6C/6G
    for (count=0;count<network.outputs;count++){
            network.g_error[count] = derive_cost((training.answer[training_current])-(network.g[count]));
    }



    //calculate 6G/6O
    for (count=0;count<network.outputs;count++){
        network.o_error[count] = derive_activation(network.g[count])*(network.g_error[count]);
    }


    //calculate 6O/6S3
    for (count=0;count<network.h3_neurons;count++){
        network.s3_error[count] = 0;
        for (count2=0;count2<network.outputs;count2++){
            network.s3_error[count] += (network.w4[count2][count])*(network.o_error[count2]);
        }
    }


    //calculate 6S3/6H3
    for (count=0;count<network.h3_neurons;count++){
        network.h3_error[count] = (derive_activation(network.s3[count]))*(network.s3_error[count]);
    }


    //calculate 6H3/6S2
    network.s2_error[count] = = 0;
    for (count=0;count<network.h2_neurons;count++){
        for (count2=0;count2<network.h3_neurons;count2++){
            network.s2_error[count] = += (network.w3[count2][count])*(network.h3_error[count2]);
        }
    }



    //calculate 6S2/6H2
    for (count=0;count<network.h2_neurons;count++){
        network.h2_error[count] = (derive_activation(network.s2[count]))*(network.s2_error[count]);
    }


    //calculate 6H2/6S1
    network.s1_error[count] = 0;
    for (count=0;count<network.h1_neurons;count++){
        for (count2=0;count2<network.h2_neurons;count2++){
            buffer += (network.w2[count2][count])*network.h2_error[count2];
        }
    }


    //calculate 6S1/6H1
    for (count=0;count<network.h1_neurons;count++){
        network.h1_error[count] = (derive_activation(network.s1[count]))*(network.s1_error[count]);

    }


}





void updateWeights(void){


    //////////////////w1
    for(count=0;count<network.h1_neurons;count++){
        for(count2=0;count2<network.inputs;count2++){
            network.w1[count][count2] -= learning_rate*(network.h1_error[count]*network.input[count2]);
        }

    }





    //////////////////w2
    for(count=0;count<network.h2_neurons;count++){
        for(count2=0;count2<network.h1_neurons;count2++){
            network.w2[count][count2] -= learning_rate*(network.h2_error[count]*network.s1[count2]);
        }

    }



    //////////////////w3
    for(count=0;count<network.h3_neurons;count++){
        for(count2=0;count2<network.h2_neurons;count2++){
            network.w3[count][count2] -= learning_rate*(network.h3_error[count]*network.s2[count2]);
        }

    }


    //////////////////w4
    for(count=0;count<network.outputs;count++){
        for(count2=0;count2<network.h3_neurons;count2++){
            network.w4[count][count2] -= learning_rate*(network.o_error[count]*network.s3[count2]);
        }

    }
}

我所附的代码是我如何做在线随机更新。在updateWights()函数中可以看到,权重更新基于输入值(取决于输入的样本)和隐藏的单位值(也取决于输入的样本值)。所以,当我有一个小批量平均梯度,我是支持回来,我将如何更新权重?我使用哪些输入值?

最佳答案

好吧,我想出来了。使用小批量时,不应累积和平均网络输出的错误。每个训练示例错误都会像正常情况下一样被提出,除非不是更新权重,而是累积对每个权重所做的更改。当您在小批量中循环时,您就可以平均累积量并相应地更改权重。
我的印象是,当使用小批量时,在循环浏览小批量之前,您不必提出任何错误。我错了,你仍然需要这样做,唯一的区别是你只更新重量,一旦你通过你的迷你批量大小循环。

关于c - 使用小批量时如何更新砝码?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/54332566/

10-12 19:40