3.1 ⼤模型之模型概括
3.1.1语⾔模型的⼀开始就可以被看做是⼀个⿊箱，当前⼤规模语⾔模型的能⼒在于给定⼀个基于⾃身需求的prompt就可以⽣成符合需求的结果。
形式可以表达为：prompt————completion
从数学的⻆度考虑就对训练数据 (traing data: （x1,...,xL）)的概率分布：trianingData——p(x1,...,xL)
3.1.2分词：即如何将⼀个字符串拆分成多个标记。
3.1.3模型架构：Transformer架构，这是真正实现⼤型语⾔模型的建模创新。
3.2分词
1.语⾔模型 是⼀个对标记（token）序列的概率分布，其中每个标记来⾃某个词汇表 ：[the,mouse,ate,the,cheese]
2.分词器将任意字符串转换为标记序列：the mouse ate the cheese——{the,mouse,ate,the,cheese}这并不⼀定是语⾔建模中最引⼈注⽬的部分，但在确定模型的⼯作效果⽅⾯起着⾮常重要的作⽤。这个⽅式理解为⾃然语⾔和机器语⾔的⼀种显式的对⻬。
3.2.1基于空格的分词
1.解决⽅案是使⽤text.split(' ')⽅式进⾏分词，这种分词⽅式对于英⽂这种按照空格，且每个分词后的单词有语义关系的⽂本是简单⽽直接的分词⽅式。然⽽，对于⼀些语⾔，如中⽂，句⼦中的单词之间没有空格：'你吃早饭了嘛'；⽐如德语，存在着⻓的复合词（例如Abwasserbehandlungsanlange）；即使在英语中，也有连字符词（例如father-in-law）和缩略词（例如don't），它们需要被正确拆分。因此，仅仅通过空格来划分单词会带来很多问题。
2.什么样的分词才是好的呢？⽬前从直觉和⼯程实践的⻆度来说：
1.⾸先我们不希望有太多的标记（极端情况：字符或字节），否则序列会变得难以建模。
2.其次我们也不希望标记过少，否则单词之间就⽆法共享参数（例如，mother-in-law和father-in-law应该完全不同吗？），这对于形态丰富的语⾔尤其是个问题（例如，阿拉伯语、⼟⽿其语等）。
3.每个标记应该是⼀个在语⾔或统计上有意义的单位。
3.2.2Byte pair encoding
1.将字节对编码（BPE）算法应⽤于数据压缩领域，⽤于⽣成其中⼀个最常⽤的分词器。
2.Unicode的问题
3.2.3Unigram model (SentencePiece)
1.种基于⽬标函数的分词模型可以适应更好分词场景
2.似然值,是根据 unigram 模型计算得出的概率，表示训练数据的似然度。这个值代表了根据 unigram 模型，将训练数据分词为所给的分词结果 的概率。
3.unigram 模型通过统计每个词汇在训练数据中的出现次数来估计其概率。
4.算法流程
3.3模型架构
1.上下⽂向量表征 (Contextual Embedding): 作为先决条件，主要的关键发展是将标记序列与相应的上下⽂的向量表征：
3.3.1语⾔模型分类
1.起源来⾃于Transformer模型，这个模型是编码-解码端 （Encoder-Decoder）的架构。
2.当前对于语⾔模型的分类三个类型：编码端（Encoder-Only），解码端（Decoder-Only）和编码-解码端（Encoder-Decoder）。
3.3.1.1编码端（Encoder-Only）架构
1.编码端架构的著名的模型如BERT、RoBERTa等。这些语⾔模型⽣成上下⽂向量表征，但不能直接⽤于⽣成⽂本。
2.该架构的优势是对于⽂本的上下⽂信息有更好的理解，因此该模型架构才会多⽤于理解任务。
3.优点是对于每个xi ，上下⽂向量表征可以双向地依赖于左侧上下⽂(x1:i-1)和右侧上下⽂x(i+1):L。
4.缺点在于不能⾃然地⽣成完成⽂本，且需要更多的特定训练⽬标（如掩码语⾔建模）。
3.3.1.2解码器（Decoder-Only）架构
1.解码器架构的著名模型就是⼤名鼎鼎的GPT系列模型-⾃回归语⾔模型。
2.优点为能够⾃然地⽣成完成⽂本，有简单的训练⽬标（最⼤似然）。
3.缺点也很明显，对于每个 xi，上下⽂向量表征只能单向地依赖于左侧上下⽂ (x1:i-1)。
3.3.1.3编码-解码端（Encoder-Decoder）架构
1.编码-解码端架构就是最初的Transformer模型，其他的还有如BART、T5等模型。
2.在某种程度上结合了两者的优点：它们可以使⽤双向上下⽂向量表征来处理输⼊x1:L，并且可以⽣成输出y1:L。
3.缺点就说需要更多的特定训练⽬标。
3.4语⾔模型理论
1.
3.4.1基础架构
1.⾸先，我们需要将标记序列转换为序列的向量形式。
3.4.2递归神经⽹络
1.第⼀个真正的序列模型是递归神经⽹络（RNN），它是⼀类模型，包括简单的RNN、LSTM和GRU。
3.4.3Transformer
1.推动⼤型语⾔模型发展的序列模型。
3.4.3.1注意⼒机制
3.4.3.2残差连接和归⼀化
1.残差连接：计算机视觉中的⼀个技巧是残差连接（ResNet）。
2.层归⼀化:另⼀个技巧是层归⼀化
3.4.3.3位置嵌⼊
3.5总结：
1.GPT-3架构，只需将Transformer块堆叠96次即可。
3.6混合专家模型
3.6.1基础知识
3.6.1.1示例:每个专家都是⼀个线性分类器
3.6.1.2训练:反向传播来学习混合专家模型
3.6.1.3节约计算:，⻔控函数g(x)=[g1(x),...,gE(x)]对于每个专家都是⾮零的。
3.6.1.4平衡专家
1.只有所有专家都参与进来，混合专家才有效。
2.如果只有⼀个专家处于活跃状态（例如，g(x)=[0,1,0,0])，那么这就是浪费。
3.此外，如果我们⼀直处于这种状态，那么未使⽤的专家的梯度将为零，因此他们将不会收到任何梯度并得到改善。
4.因此，使⽤混合专家的主要考虑因素之⼀是确保所有专家都能被输⼊使⽤。
3.6.1.5并⾏
1.混合专家⾮常有利于并⾏。
2.每个专家都可以放置在不同的机器上。
3.我们可以在中⼼节点计算近似⻔控函数g(x)。
4.然后，我们只要求包含激活专家的机器（稀疏）来处理x 。
3.6.2Sparsely-gated mixture ofexperts
3.6.2.1符号定义：
3.6.2.2平衡专家
3.6.2.3示例
3.6.3Switch Transformer
3.6.4Balanced Assignment of Sparse Experts (BASE) layers
3.6.4.1实验设置
3.6.4.2总结和下⼀步⼯作
3.6.5Generalist Language Model (GLaM) (Du et al. 2021)
3.6.5.1规格：
3.6.5.2其他：
3.6.5.3结果：
3.6.5.4WinoGender上的结果：
3.6.6FacebookMoE (Artetxe et al.,2021)
3.6.6.1实验设置：
3.6.6.2示例：
3.6.7Decentralized mixture-of-experts (Ryabinin & Gusev, 2020)
3.6.7.1动机：
3.6.7.2主要考虑因素：
3.6.7.3分布式哈希表：
3.6.7.4论⽂实验：
3.6.8Diskin et al., 2021：
3.6.9总结
1.混合专家：起源于将不同专家应⽤于不同输⼊的经典理念
2.允许训练更⼤的语⾔模型（1.1万亿个参数）
3.与稠密Transformer模型相⽐，每个输⼊的效率⾼得多（FLOP更少）
4.效果难以⽐较：在相同规模上，直接⽐较仍然具有挑战性（GPT-3与GLaM与FacebookMoE）
5.对权⼒下放的重⼤影响
3.7基于检索的模型
1.基于检索的（或检索增强的、记忆增强的模型），它可以帮助我们突破稠密Transformer的缩放上限。
3.7.1编码器-解码器
3.7.2检索⽅法
3.7.3 Retrieval-augmented generation (RAG) (Lewis et al., 2020)
3.7.3.1检索器：
3.7.3.2⽣成器：
3.7.3.3训练：
3.7.3.4实验：
3.7.4RETRO (Borgeaud et al., 2021)
3.7.4.1实验结果
3.7.5讨论
1.基于检索的模型⾼度适合知识密集型的问答任务。
2.除了可扩展性之外，基于检索的模型还提供了可解释性和更新存储库的能⼒。
3.⽬前尚不清楚这些模型是否具有与稠密Transformer相同的通⽤能⼒。
3.8总体总结：
1.为了扩⼤模型规模，需要改进稠密Transformer。
2.混合专家和基于检索的⽅法相结合更有效。
3.如何设计更好的、可扩展的体系结构仍然是⼀个悬⽽未决的问题。