我是新手。.我不明白为什么我们在MLP(Multi-Layer Perceptron)中使用阈值和偏差?阈值,偏差的作用是什么。而且我也不知道输出的公式(结果在我们使用激活函数(例如sigmoid)之后,遵循偏差和阈值。在同一文档中,我看到:

output_value=activation_function(summing_function+threshold) (follow Jeff Heaton)
output_value=activation_function(summing_function-threshold)(follow my teacher)
output_value=activation_function(summing_function+bias) (no problem!)


正确吗?请给我答复!

并且,偏差和阈值可以在MLP中同时存在?

最佳答案

MLP中的bias和threshold是相同的概念,简单来说-同一事物的两个不同名称。符号无关紧要,因为偏差可以为正也可以为负(但更常见的是使用+偏差)。

用最简单的术语来说-如果没有偏差,则对于仅0的输入,您将得到summing_function=0,结果也是output_value=0(因为大多数激活函数都跨越原点)。结果,您的网络无法学习此类信号的任何其他行为,因为仅改变整个模型的一部分就是权重。

从更多的数学角度来看,这负责转移激活函数并为神经网络提供通用逼近器功能。

关于machine-learning - 神经网络中的阈值和偏差,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/18353295/

10-10 19:36