我目前正在尝试了解word2vec神经网络学习算法背后的架构,该架构用于根据上下文将单词表示为 vector 。

阅读Tomas Mikolov paper之后,我遇到了他定义为投影层的内容。即使这个术语在提到word2vec时被广泛使用,我也无法找到它在神经网络环境中的确切定义。

machine-learning - 在神经网络中什么是投影层?-LMLPHP

我的问题是,在神经网络环境中,什么是投影层?它是给与先前节点的链接共享相同权重的隐藏层的名称吗?它的单元实际上具有某种激活功能吗?

也可以在this tutorial中找到另一个更广泛地涉及该问题的资源,该资源也涉及第67页周围的投影层。

最佳答案


如本thesis所述

machine-learning - 在神经网络中什么是投影层?-LMLPHP
该图显示了简单的拓 flutter 结构,如何通过复制投影层权重矩阵中的列来有效地组装投影层的输出。
现在,隐藏层:

编辑:对图中发生的情况的解释

关于machine-learning - 在神经网络中什么是投影层?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/37889914/

10-12 19:29