本文介绍了为什么 ANN 中需要 BIAS?我们应该为每一层设置单独的 BIAS 吗?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我想制作一个模型来预测输入信号的未来响应,我的网络架构是 [3, 5, 1]:

I want to make a model which predicts the future response of the input signal, the architecture of my network is [3, 5, 1]:

  • 3 个输入,
  • 隐藏层中的 5 个神经元,以及
  • 输出层中有 1 个神经元.

我的问题是:

  1. 我们是否应该为每个隐藏层和输出层设置单独的 BIAS?
  2. 我们是否应该在每一层为 BIAS 分配权重(因为 BIAS 成为我们网络的额外价值并导致网络负担过重)?
  3. 为什么 BIAS 总是设置为 1?如果 eta 有不同的值,为什么我们不将 BIAS 设置为不同的值?
  4. 为什么我们总是对非线性函数使用 log sigmoid 函数,我们可以使用 tanh 吗?

推荐答案

所以,如果我们退后一步讨论偏置单元在神经网络中的作用,我认为大部分内容都会清楚.

So, I think it'd clear most of this up if we were to step back and discuss the role the bias unit is meant to play in a NN.

偏置单元旨在让网络中的单元学习适当的阈值(即在达到某个总输入后,开始发送正激活),因为通常正总输入意味着正激活.

A bias unit is meant to allow units in your net to learn an appropriate threshold (i.e. after reaching a certain total input, start sending positive activation), since normally a positive total input means a positive activation.

例如,如果您的偏置单元的权重为 -2,并且某些神经元 x 的权重为 -2,那么如果所有其他输入加起来大于 -2,则神经元 x 将提供正激活.

For example if your bias unit has a weight of -2 with some neuron x, then neuron x will provide a positive activation if all other input adds up to be greater then -2.

因此,以此为背景,您的答案:

So, with that as background, your answers:

  1. 不,一个偏置输入总是足够的,因为它可以根据每个单元的权重对不同的神经元产生不同的影响.
  2. 一般来说,将偏置权重分配给每个非输入单元是个好主意,否则那些没有偏置权重的单元的阈值将始终为零.
  3. 由于阈值,一旦学习就应该在整个试验中保持一致.记住偏差代表每个单元如何与输入交互;它本身不是输入.
  4. 您当然可以,而且很多人都可以.任何压缩函数通常都用作激活函数.

这篇关于为什么 ANN 中需要 BIAS?我们应该为每一层设置单独的 BIAS 吗?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

07-16 15:33