一、说明
本文是Hugging Face的用户手册。加入 Hugging Face 社区,在模型、数据集和空间上进行协作,通过加速推理获得更快的示例。
二、变形金刚
适用于 PyTorch、TensorFlow 和 JAX 的先进机器学习。
Transformers 提供 API 和工具,可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本和碳足迹,并节省从头开始训练模型所需的时间和资源。这些模型支持不同模式的常见任务,例如:
自然语言处理:文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。
计算机视觉:图像分类、对象检测和分割。
音频:自动语音识别和音频分类。
多模态:表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。
Transformer 支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。这提供了在模型生命周期的每个阶段使用不同框架的灵活性;在一个框架中用三行代码训练模型,然后在另一个框架中加载它进行推理。还可以将模型导出为 ONNX 和 TorchScript 等格式,以便在生产环境中进行部署。
立即加入 Hub、论坛或 Discord 上不断壮大的社区!
如果您正在寻求 Hugging Face 团队的定制支持
三、内容
该文档分为五个部分:
-
“入门”提供了库的快速浏览以及启动和运行的安装说明。
-
如果您是初学者,教程是一个很好的起点。本节将帮助您获得开始使用库所需的基本技能。
-
操作指南向您展示如何实现特定目标,例如微调用于语言建模的预训练模型或如何编写和共享自定义模型。
-
CONCEPTUAL GUIDES 对变形金刚的模型、任务和设计理念🤗背后的基本概念和思想进行了更多的讨论和解释。
-
API 描述了所有类和函数:
MAIN CLASSES 详细介绍了最重要的类,如配置、模型、分词器和管道。
MODELS 详细介绍了与库中实现的每个模型相关的类和函数。
INTERNAL HELPERS 详细介绍了内部使用的实用程序类和函数。
四、支持的模型和框架
下表显示了库中每个模型的当前支持,无论它们是否具有 Python 分词器(称为“慢速”)。由 🤗 Tokenizers 库支持的“快速”分词器,无论它们在 Jax 中是否支持(通过 Flax)、PyTorch 和/或 TensorFlow。