nlp - 手套嵌入中的代币和vocab是什么意思？

我正在使用手套嵌入，并且对嵌入中的tokens和vocab感到非常困惑。像这个:

Common Crawl (840B tokens, 2.2M vocab, cased, 300d vectors, 2.03 GB download)

tokens和vocab分别是什么意思？有什么区别？

最佳答案

在NLP中， token 是指语料库中“单词”的总数。我将单引号引起来，因为定义因任务而异。词汇是唯一的“单词”的数量。

vocab