目录
一、引言
这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。
本文重点介绍自动分词器（AutoTokenizer）。
二、自动分词器（AutoTokenizer）
2.1 概述
AutoTokenizer是Hugging Face transformers库中的一个非常实用的类，它属于自动工厂模式的一部分。这个设计允许开发者通过一个统一的接口来加载任何预训练模型对应的分词器（tokenizer），而无需直接指定分词器的精确类型。这意味着，当你知道模型的名称时，你可以使用AutoTokenizer自动获取与该模型匹配的分词器，而不需要了解分词器的具体实现细节。
2.2 主要特点
2.3 代码示例
使用这些特殊标记的例子，比如在BERT模型中准备输入：
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"#使用国内hf镜像
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"
from transformers import AutoTokenizer
# 加载BERT的分词器
tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')
# 使用分词器处理文本
text = "你好，我在北京的互联网公司工作"
tokenized_text = tokenizer.tokenize(text)
print(tokenized_text)
"""
['你', '好', '，', '我', '在', '北', '京', '的', '互', '联', '网', '公', '司', '工', '作']
"""
# 或者直接编码为模型输入的格式
encoded_text = tokenizer.encode(text)
print(encoded_text)
"""
[101, 872, 1962, 8024, 2769, 1762, 1266, 776, 4638, 757, 5468, 5381, 1062, 1385, 2339, 868, 102]
"""
# 对于更复杂的输入准备，可以使用encode_plus
encoded_plus = tokenizer.encode_plus(text, add_special_tokens=True)
print(encoded_plus)
"""
{
'input_ids': [101, 872, 1962, 8024, 2769, 1762, 1266, 776, 4638, 757, 5468, 5381, 1062, 1385, 2339, 868, 102],
'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}
"""参数说明
三、总结
本文对使用transformers的AutoTokenizer进行介绍，他最大的特点是允许开发者通过一个统一的接口来加载任何预训练模型对应的分词器（tokenizer），而无需直接指定分词器的精确类型。这意味着，当知道模型的名称时，可以使用AutoTokenizer自动获取与该模型匹配的分词器。
如果您还有时间，可以看看我的其他文章：
《AI—工程篇》
AI智能体研发之路-工程篇（一）：Docker助力AI智能体开发提效
AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署
AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署
《AI-模型篇》
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
AI智能体研发之路-模型篇（二）：DeepSeek-V2-Chat 训练与推理实战
AI智能体研发之路-模型篇（四）：一文入门pytorch开发
AI智能体研发之路-模型篇（五）：pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇（六）：【机器学习】基于tensorflow实现你的第一个DNN网络