鉴于BERT是双向的，是否会隐式建模某些给定文本中的字数？我是在将数据列描述分类为有效还是不正确的情况下问。我正在寻找一个基于字数的模型，并且想知道如果BERT是双向的，是否甚至需要这样做。
最佳答案
BERT默认情况下考虑“单词片段”标记化，而不考虑“单词”标记化。 BERT使max-sequence length属性可用，该属性用于限制给定句子中的单词标记的数量，它还确保处理相同数量的标记。
关于machine-learning - BERT是否隐式建模字数统计？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/56654322/