我正在学习nltk库中的bigramtager类。我用nltk附带的棕色语料库训练了一个“句子的一部分”标记。
我注意到，如果我在这个语料库上进行训练，然后从语料库的第一句话中标记几个单词，那么效果会很好。
from nltk.corpus import brown
from nltk.tag import BigramTagger
from nltk import word_tokenize
# Works completely fine:
brown_train = brown.tagged_sents(categories='news')
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))
我们得到了预期的结果：
[（'that'，'CS'），（'any'，'DTI'），（'normality'，'NNS'），（'taked'，'VBD'），（'place'，'NN'）]
但如果我只训练100句话，那就失败了。
# Fails to work:
brown_train = brown.tagged_sents(categories='news')[:100]
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))
它无法标记这些单词，因此给它们“无”标记：
[（“那”，无）、（“任何”，无）、（“违规”，无）、（“发生”，无）、（“地点”，无）]
这个班需要最少的语料吗？或者还有其他一些参数，我忘记了，使模型在第二种情况下失败？
我看了这里的文档：http://www.nltk.org/api/nltk.tag.html#nltk.tag.sequential.BigramTagger看起来有一个截断参数，但默认情况下设置为0。
最佳答案
这是个有趣的问题。看起来你在用训练数据测试你的标记，但是有一个关键的区别：因为你使用的是第一句话的一个片段，所以它的第一个单词出现在一个不同于它在训练中使用的上下文中。对你的问题的简短回答是，这不是语料库的大小，只是在训练中是否看到了相关的上下文。对于较短的训练数据，第一个单词从未出现在相同的（句子首字母）位置；但是对于较长的数据集，它出现了。
下面是详细信息：ngram标记器根据当前单词和n-1以前的POS标记（“context”）选择POS标记。在句子的开头，一个单词有空的“上下文”；要标记测试短语的第一个单词，标记人需要在训练数据的句子开头看到它。
测试短语中的第一个单词是"that"，不带大写。这真的会发生在训练数据中吗？是的，它可以：
>>> for n, s in enumerate(brown.sents(categories="news")):
if s[0] == 'that':
print(n, " ".join(s))
3322 that its persistent use by ballet companies of the Soviet regime indicates that that old spirit is just as stultifying alive today as it ever was ; ;
3323 that its presentation in this country is part of a capitalist plot to boobify the American people ; ;
3324 that its choreography is undistinguished and its score a shapeless assemblage of self-plagiarisms .
就布朗语料库而言，这些都是完整的句子。可能有原因，但这真的不重要，是不是现在。只要您的培训数据至少包含其中一个，您就可以在标记器的内部表中查找上下文：
>>> bigram_tager._context_to_tag[(tuple(), "that")]
'CS'
在你用前100个句子训练的标签上（或者在用前3000个句子训练的标签上，因为在正确的地方仍然没有小写的“that”），尝试同样的方法，你会得到一个
KeyError。上下文未显示，标记符返回None作为第一个单词的标记。一旦失败，标记第二个单词将失败（再次出现错误的上下文）等。
实用建议：总是使用退避标记（它将使用一个单词的所有实例来选择标记），用适当的大写标记完整的句子，或两者兼而有之。
关于python - BigramTagger是否需要最小数据大小才能工作？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45817892/