《深度学习实战》第4集：Transformer 架构与自然语言处理（NLP）
《深度学习实战》第4集：Transformer 架构与自然语言处理（NLP） 在自然语言处理（NLP）领域，Transformer 架构的出现彻底改变了传统的序列建模方法。它不仅成为现代 NLP 的核心，还推动了诸如 BERT、GPT 等预训练模型的发展。本集将带你深入了解 Transformer 的工作原理，并通过实战项目微调 BERT 模型完成情感分析任务。 1. 自注意力机制与多头注意力 1.1 自注意力机制（...
【深度学习】Transformer入门：通俗易懂的介绍
【深度学习】Transformer入门：通俗易懂的介绍 一、引言二、从前的“读句子”方式三、Transformer的“超级阅读能力”四、Transformer是怎么做到的？五、Transformer的“多视角”能力六、Transformer的“位置记忆”七、Transformer的“翻译流程”八、Transformer为什么这么厉害？九、Transformer的应用十、总结 一、引言 在自然语言处理（NLP）的世界里...
【深度学习】Transformer技术报告：架构与原理
【深度学习】Transformer 技术报告：架构与原理 一、引言二、Transformer 的基本架构2.1 总体架构2.2 编码器（Encoder）2.3 解码器（Decoder）2.4 输入嵌入与位置编码 三、Transformer 的关键特性四、应用场景五、总结 一、引言 Transformer 是一种基于注意力机制（Attention Mechanism）的深度学习架构，最初由 Vaswani 等人在 20...
手撕Transformer编码器：从Self-Attention到Positional Encoding的PyTorch逐行实现
Transformer 编码器深度解读 + 代码实战 1. 编码器核心作用 Transformer 编码器的核心任务是将输入序列（如文本、语音）转换为富含上下文语义的高维特征表示。它通过多层自注意力（Self-Attention）和前馈网络（FFN），逐步建模全局依赖关系，解决传统RNN/CNN的长距离依赖缺陷。 2. 编码器单层结构详解 每层编码器包含以下模块（附 PyTorch 代码）： 2.1 多头自注意力（M...
《Transformer架构完全解析：从零开始读懂深度学习的革命性模型》
Transformer 架构是深度学习领域（尤其是自然语言处理）的革命性模型，由 Google 团队在 2017 年的论文 Attention Is All You Need 中提出。它完全基于注意力机制（Self-Attention），摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），显著提升了模型并行计算能力和长距离依赖建模能力。 以下是 Transformer 架构的完整解析： 一、核心思想与优势 为...
Transformers as SVM（2023 NIPS）
。此外，文中探讨了过参数化如何促进全局收敛，并提出了一个更广泛的SVM等价模型来预测非线性头下的隐式偏差。这些发现有助于理解多层变压器作为分层最大间隔令牌选择机制的工作原理。 全文摘要 这篇论文探讨了Transformer模型中自注意力层的优化几何与支持向量机（SVM）问题之间的联系。作者证明了一层Transformer模型在梯度下降下优化时会倾向于找到一个最小化核范数或Frobenius范数的支持向量机解，并且提出了...
如何学习Transformer架构
Transformer架构自提出以来，在自然语言处理领域引发了革命性的变化。作为一种基于注意力机制的模型，Transformer解决了传统序列模型在并行化和长距离依赖方面的局限性。本文将探讨Transformer论文《Attention is All You Need》与Hugging Face Transformers库之间的关系，并详细介绍如何利用Hugging Face Transformers的代码深入学习T...
BUG解决：安装问题transformer_engine+pytorch
安装命令 pip install transformer_engine[pytorch] 或 pip install git+https://github.com/NVIDIA/TransformerEngine.git@main Cmake报错信息解决 如果出现cmake相关CUDA/CUDNN错误： （eg.缺少cudnn.h） 更改CUDA_PATH和CUDNN_PATH 版本检查CUDA 12.0+ and ...
深入解析Transformer原理
在自然语言处理（NLP）领域，Transformer架构的出现无疑是一个里程碑式的进展。从Google的BERT到OpenAI的GPT系列，Transformer已经成为许多前沿AI模型的核心。今天，我们就来深入探讨Transformer的原理，帮助你更好地理解这一强大工具的内部机制。 一、Transformer的背景 在Transformer之前，循环神经网络（RNN）和长短时记忆网络（LSTM）是处理序列数据的主流...
【人工智能】Transformers之Pipeline（十八）：文本生成（text-generation）
2.3.3 pipeline返回参数 2.4 pipeline实战 2.5 模型排名 三、总结 一、引言 pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（...