对于Skip-gram word2vec训练样本,如下所示:

Sentence: The fox was running across the maple forest


单词fox为接下来的训练提供对:

fox-run, fox-across, fox-maple, fox-forest


等等。 CBOW w2v使用反向方法:

run-fox, across-fox, maple-fox, forest-fox


forest字:

fox-forest, run-forest, across-forest, maple-forest


这样我们就得到了所有的配对。如果在CBOW模式下训练时未指定目标词,则在使用gensim库训练期间,Skip-gram word2vec和CBOW w2v有什么区别?在这两种情况下,是否都使用所有成对的单词?

最佳答案

仅skip-gram使用形式为(context_word)->(target_word)的训练对。

在CBOW中,培训示例为(average_of_multiple_context_words)->(target_word)。因此,当反向传播单个训练示例中的错误时,多个上下文词会得到相同的纠正。

关于python - 使用Gensim库进行训练时,跳过语法word2vec和CBOW w2v有什么区别?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/52252119/

10-12 19:34