本文为大模型参数高效微调技术实战的第一篇。由于本系列文章主要针对 Huggingface 开源的 PEFT 库进行讲解；因此，本文先对其进行概述以及环境搭建。
PEFT 概述
PEFT 是 Huggingface 开源的一个参数高效微调库，它提供了最新的参数高效微调技术，并且可以与 Transformers 和 Accelerate 进行无缝集成。
支持的高效微调技术
目前支持的一些高效微调方法如下：
具体可通过 PEFT 的源码看到支持的参数高效微调技术类型枚举。
class PeftType(str, enum.Enum):
PROMPT_TUNING = "PROMPT_TUNING"
P_TUNING = "P_TUNING"
PREFIX_TUNING = "PREFIX_TUNING"
LORA = "LORA"
ADALORA = "ADALORA"
ADAPTION_PROMPT = "ADAPTION_PROMPT"
IA3 = "IA3"
支持的模型
我们可通过 PEFT 的源码看到支持的任务类型枚举。
class TaskType(str, enum.Enum):
SEQ_CLS = "SEQ_CLS"
SEQ_2_SEQ_LM = "SEQ_2_SEQ_LM"
CAUSAL_LM = "CAUSAL_LM"
TOKEN_CLS = "TOKEN_CLS"
QUESTION_ANS = "QUESTION_ANS"
FEATURE_EXTRACTION = "FEATURE_EXTRACTION"
针对不同的任务支持的高效微调方法和模型不一样，下面是 PEFT 针对每项任务列出了支持的高效微调方法和模型。
因果语言建模任务（Causal Language Modeling）
因果语言建模任务（CLM），在这种建模方法中，模型试图预测给定上下文中的下一个单词，该上下文通常包括在当前单词之前的所有单词。这种建模方法遵循因果原则，即当前单词只受到其前面单词的影响，而不受后面单词的影响。代表模型有GPT2、Bloom、OPT、GPT-Neo、GPT-J、LLaMA、ChatGLM。
条件生成任务（Conditional Generation）
条件生成任务（Conditional Generation），根据给定的输入（可能是文本、图片等）生成符合条件的输出。
与因果语言建模任务不同，条件生成不仅仅关注于给定上下文的连贯性，还关注于满足预定的任务要求。因果语言建模仅关注于根据给定的上下文生成文本序列。
条件生成的应用包括但不限于机器翻译、文本摘要、图像描述等。这些任务通常需要模型在输入和输出之间建立复杂的映射关系。
在这种建模方法中，模型是一个Encoder-Decoder架构，即序列到序列模型（编码器的输出作为解码器的输入），代表模型有BART、T5。
序列分类任务（Sequence Classification）
序列分类（Sequence Classification），对整个句子进行分类。如: 获取评论的情绪，检测电子邮件是否为垃圾邮件，确定句子在语法上是否正确或两个句子在逻辑上是否相关等
Token 分类任务（Token Classification）
Token 分类任务（Token Classification），对句子中的每个词进行分类。如: 识别句子的语法成分（名词、动词、形容词）或命名实体（人、地点、组织）。
文本生成图像任务（Text-to-Image Generation）
文本生成图像任务（Text-to-Image Generation），通过文本生成符合给定文本描述的真实图像。
图像分类任务（Image Classification）
图像分类任务（Image Classification），根据图像信息中所反映的不同特征，把不同类别的图像区分开来。
图像生成文本任务（Image to text）
图像生成文本任务（Image to text），根据视觉图像输入生成关于图像的自然语言描述，属于多模态大模型。
语义分割任务（Semantic Segmentation）
语义分割任务（Semantic Segmentation），通过使用类标签标记每个像素来识别和定位图像中的对象。
除了以上的任务，PEFT 中还提供了特征抽取任务和问答任务。
对 PEFT 进行简单介绍了之后，下面开始进行搭建搭建。
PEFT 运行环境搭建
基础环境配置如下：
上面的NVIDIA驱动、CUDA、Python等工具的安装就不一一赘述了。
先创建虚拟环境并激活虚拟环境 peft-venv-py310-cu117：
cd /home/guodong.li/virtual-venv
virtualenv -p /usr/bin/python3.10 peft-venv-py310-cu117
source /home/guodong.li/virtual-venv/peft-venv-py310-cu117/bin/activate
然后，安装Pytorch、DeepSpeed、PEFT、jupyterlab等依赖库。
# 离线安装PyTorch
pip install torch-1.13.1+cu117-cp310-cp310-linux_x86_64.whl
pip install torchvision-0.14.1+cu117-cp310-cp310-linux_x86_64.whl
# 从源码安装PEFT
git clone https://github.com/huggingface/peft
cd peft
git checkout 42ab106
pip install -e .
# 在线安装datasets、jupyterlab、deepspeed
pip install datasets
pip install jupyterlab
pip install deepspeed
为了便于运行官方的样例，这里安装了jupyterlab库。由于GPU算力通常在远程服务器，而开发是本地笔记本，因此，需要搭建远程jupyterlab服务，然后在本地访问，具体操作如下所示。
首先，生成配置文件（jupyter_lab_config.py）：
> jupyter lab --generate-config
Writing default config to: /home/guodong.li/.jupyter/jupyter_lab_config.py
然后，对密码进行加密：
from jupyter_server.auth import passwd; passwd()
之后，修改生成的配置文件（jupyter_lab_config.py）：
c.ServerApp.allow_origin = '*'
c.ServerApp.allow_remote_access = True
c.ServerApp.ip = '0.0.0.0'
c.ServerApp.open_browser = False
c.ServerApp.password = '加密后的密码'
c.ServerApp.port = 9999
最后，在服务器端启动jupyterlab服务。
# jupyter lab --allow-root
nohup jupyter lab --allow-root > jupyterlab.log 2>&1 &
至此，PEFT 运行环境搭建完成，可以通过IP+端口进行访问了。
模型准备
本系列文章基础模型均采用bloomz-560m，因此，需预先从 Huggingface 模型仓库下载。
git lfs clone https://huggingface.co/bigscience/bloomz-560m
基础模型结构如下所示：
BloomForCausalLM(
(transformer): BloomModel(
(word_embeddings): Embedding(250880, 1024)
(word_embeddings_layernorm): LayerNorm((1024,), eps=1e-05, elementwise_affine=True)
(h): ModuleList(
(0): BloomBlock(
(input_layernorm): LayerNorm((1024,), eps=1e-05, elementwise_affine=True)
(self_attention): BloomAttention(
(query_key_value): Linear(in_features=1024, out_features=3072, bias=True)
(dense): Linear(in_features=1024, out_features=1024, bias=True)
(attention_dropout): Dropout(p=0.0, inplace=False)
)
(post_attention_layernorm): LayerNorm((1024,), eps=1e-05, elementwise_affine=True)
(mlp): BloomMLP(
(dense_h_to_4h): Linear(in_features=1024, out_features=4096, bias=True)
(gelu_impl): BloomGelu()
(dense_4h_to_h): Linear(in_features=4096, out_features=1024, bias=True)
)
)
...
(23): BloomBlock(
...
)
)
(ln_f): LayerNorm((1024,), eps=1e-05, elementwise_affine=True)
)
(lm_head): Linear(in_features=1024, out_features=250880, bias=False)
)
结语
文本主要对 PEFT 库进行了基本的概述，同时，搭建了运行 PEFT 的开发环境。本系列后续文章将对不同的PEFT技术进行实战。
如果觉得我的文章能够能够给您带来帮助，期待您的点赞收藏加关注~~