微调 BERT有助于将其语言理解能力扩展到更新的文本领域。BERT 的与众不同之处在于它能够掌握句子的上下文关系,理解每个单词相对于其邻居的含义。我们将使用 Hugging Face Transformers 训练 BERT,还将教 BERT 分析 Arxiv 的摘要并将其分类为 11 个类别之一。
为什么微调 BERT 很重要?
虽然预训练的 BERT 模型很强大,但它是一个通用工具。它理解语言,但不适合任何特定任务。微调本质上是使这种通用工具适应专门工作的行为。
拥抱变形金刚脸
Hugging Face Transformers 是一个已经成为最先进 NLP 代