本文介绍了为什么在人工神经网络中需要BIAS?我们是否应该为每个层分别设置BIAS?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我想建立一个预测输入信号未来响应的模型,我的网络体系结构为[3,5,1]:

I want to make a model which predicts the future response of the input signal, the architecture of my network is [3, 5, 1]:

  • 3个输入,
  • 隐藏层中有5个神经元,并且
  • 输出层中有1个神经元.
  • 3 inputs,
  • 5 neurons in the hidden layer, and
  • 1 neuron in output layer.

我的问题是:

  1. 对于每个隐藏层和输出层,我们都应该有单独的BIAS吗?
  2. 我们应该在每层上为BIAS分配权重吗(因为BIAS成为我们网络的额外价值并导致网络超负荷)?
  3. 为什么BIAS总是设置为1?如果eta具有不同的值,为什么我们不将BIAS设置为不同的值?
  4. 为什么对于非线性函数我们总是使用对数S型函数,我们可以使用tanh吗?

推荐答案

因此,如果我们退后一步并讨论偏置单元在NN中的作用,我认为其中大部分都是显而易见的.

So, I think it'd clear most of this up if we were to step back and discuss the role the bias unit is meant to play in a NN.

偏差单位是指允许网络中的单位学习适当的阈值(即达到一定的总输入后,开始发送正激活),因为通常正总输入表示正激活.

A bias unit is meant to allow units in your net to learn an appropriate threshold (i.e. after reaching a certain total input, start sending positive activation), since normally a positive total input means a positive activation.

例如,如果您的偏差单位的权重为-2,并且某个神经元x,那么如果所有其他输入的总和大于-2,则神经元x将提供正向激活.

For example if your bias unit has a weight of -2 with some neuron x, then neuron x will provide a positive activation if all other input adds up to be greater then -2.

因此,以此为背景,您的答案:

So, with that as background, your answers:

  1. 不,一个偏置输入总是足够的,因为根据每个单元的权重,它可能会影响不同的神经元.
  2. 通常来说,将权重分配给每个非输入单元是一个好主意,因为否则,那些没有权重的单元将具有始终为零的阈值.
  3. 从阈值开始,一旦获悉,在所有试验中都应保持一致.记住偏差代表每个单元如何与输入交互.它本身不是输入.
  4. 您当然可以而且很多都可以.任何静噪功能通常都可以用作激活功能.

这篇关于为什么在人工神经网络中需要BIAS?我们是否应该为每个层分别设置BIAS?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

07-16 15:32