python - Python:gensim:RuntimeError:在训练模型之前，您必须首先建立词汇表

我知道已经问过这个问题，但是我仍然找不到解决方案。

我想在自定义数据集上使用gensim的word2vec，但现在我仍在弄清楚数据集必须采用哪种格式。我看了一下this post，其中的输入基本上是一个列表列表(一个大列表包含其他列表，这些列表是来自NLTK Brown语料库的标记化句子)。所以我认为这是我必须使用的输入格式word2vec.Word2Vec()。但是，它不能与我的小测试集一起使用，我也不知道为什么。

我试过的

这可行:

from gensim.models import word2vec
from nltk.corpus import brown
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

brown_vecs = word2vec.Word2Vec(brown.sents())

这不起作用:

sentences = [ "the quick brown fox jumps over the lazy dogs","yoyoyo you go home now to sleep"]
vocab = [s.encode('utf-8').split() for s in sentences]
voc_vec = word2vec.Word2Vec(vocab)

我不明白为什么它不能与“模拟”数据一起使用，即使它具有与布朗语料库中的语句相同的数据结构:

vocab :

[['the', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dogs'], ['yoyoyo', 'you', 'go', 'home', 'now', 'to', 'sleep']]

brown.sents() :(开头)

[['The', 'Fulton', 'County', 'Grand', 'Jury', 'said', 'Friday', 'an', 'investigation', 'of', "Atlanta's", 'recent', 'primary', 'election', 'produced', '``', 'no', 'evidence', "''", 'that', 'any', 'irregularities', 'took', 'place', '.'], ['The', 'jury', 'further', 'said', 'in', 'term-end', 'presentments', 'that', 'the', 'City', 'Executive', 'Committee', ',', 'which', 'had', 'over-all', 'charge', 'of', 'the', 'election', ',', '``', 'deserves', 'the', 'praise', 'and', 'thanks', 'of', 'the', 'City', 'of', 'Atlanta', "''", 'for', 'the', 'manner', 'in', 'which', 'the', 'election', 'was', 'conducted', '.'], ...]

谁能告诉我我做错了吗？

最佳答案

gensim的Word2Vec中的默认min_count设置为5。如果您的唱词中没有单词的频率大于4，则您的唱词将为空，因此会出现错误。尝试

voc_vec = word2vec.Word2Vec(vocab, min_count=1)

关于python - Python:gensim:RuntimeError:在训练模型之前，您必须首先建立词汇表，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/33989826/