为什么 ANN 中需要 BIAS?我们应该为每一层设置单独的 BIAS 吗?

问题描述

我想制作一个模型来预测输入信号的未来响应，我的网络架构是 [3, 5, 1]:

I want to make a model which predicts the future response of the input signal, the architecture of my network is [3, 5, 1]:

• 3 个输入，
• 隐藏层中的 5 个神经元，以及
• 输出层中有 1 个神经元.

我的问题是:

1. 我们是否应该为每个隐藏层和输出层设置单独的 BIAS?
2. 我们是否应该在每一层为 BIAS 分配权重(因为 BIAS 成为我们网络的额外价值并导致网络负担过重)?
3. 为什么 BIAS 总是设置为 1?如果 eta 有不同的值，为什么我们不将 BIAS 设置为不同的值?
4. 为什么我们总是对非线性函数使用 log sigmoid 函数，我们可以使用 tanh 吗?

推荐答案

所以，如果我们退后一步讨论偏置单元在神经网络中的作用，我认为大部分内容都会清楚.

So, I think it'd clear most of this up if we were to step back and discuss the role the bias unit is meant to play in a NN.

偏置单元旨在让网络中的单元学习适当的阈值(即在达到某个总输入后，开始发送正激活)，因为通常正总输入意味着正激活.

A bias unit is meant to allow units in your net to learn an appropriate threshold (i.e. after reaching a certain total input, start sending positive activation), since normally a positive total input means a positive activation.

例如，如果您的偏置单元的权重为 -2，并且某些神经元 x 的权重为 -2，那么如果所有其他输入加起来大于 -2，则神经元 x 将提供正激活.

For example if your bias unit has a weight of -2 with some neuron x, then neuron x will provide a positive activation if all other input adds up to be greater then -2.

因此，以此为背景，您的答案:

So, with that as background, your answers:

1. 不，一个偏置输入总是足够的，因为它可以根据每个单元的权重对不同的神经元产生不同的影响.
2. 一般来说，将偏置权重分配给每个非输入单元是个好主意，否则那些没有偏置权重的单元的阈值将始终为零.
3. 由于阈值，一旦学习就应该在整个试验中保持一致.记住偏差代表每个单元如何与输入交互；它本身不是输入.
4. 您当然可以，而且很多人都可以.任何压缩函数通常都用作激活函数.

这篇关于为什么 ANN 中需要 BIAS?我们应该为每一层设置单独的 BIAS 吗?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！