使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
ng Face 的核心使命是 让优秀的机器学习普惠化 ，而这正包括了尽可能地让所有人都能够使用上大模型。本着 与 bitsandbytes 合作 一样的精神，我们将 AutoGPTQ 代码库集成到了 Transformers 中，让用户使用 GPTQ 算法 (Frantar et al. 2023) 在 8 位、4 位、3 位，甚至是 2 位精度下量化和运行模型成为可能。当使用 int4 量化时，精度的下降可以忽略不计...
【变形金刚03】使用 Pytorch 开始构建transformer
一、说明 在本教程中，我们将使用 PyTorch 从头开始构建一个基本的转换器模型。Vaswani等人在论文“注意力是你所需要的一切”中引入的Transformer模型是一种深度学习架构，专为序列到序列任务而设计，例如机器翻译和文本摘要。它基于自我注意机制，已成为许多最先进的自然语言处理模型的基础，如GPT和BERT。 二、准备活动 若要生成转换器模型，我们将按照以下步骤操作： 导...
解码Transformer：自注意力机制与编解码器机制详述与代码实现
一、 Transformer的出现背景 Transformer的出现标志着自然语言处理领域的一个里程碑。以下将从技术挑战、自注意力机制的兴起，以及Transformer对整个领域的影响三个方面来全面阐述其背景。1.1 技术挑战与先前解决方案的局限性RNN和LSTM早期的序列模型，如RNN和LSTM，虽然在某些场景下表现良好，但在实际操作中遇到了许多挑战： 计算效率：由于RNN的递归结构，它必须逐个处理序列中的元...
Meta-Transformer：基于Transformer的多模态感知，融合Token化与共享编码
论文标题：Meta-Transformer: A Unified Framework for Multimodal Learning 论文地址：https://arxiv.org/pdf/2307.10802.pdf 这里写目录标题 引言基于Transformer的多模态发展Meta-Transformer框架预备知识数据到序列如何分词（Data-to-Sequence Tokenization）统一编码器任务特定输...
第52步 深度学习图像识别：Transformer in Transformer建模（Pytorch）
基于WIN10的64位系统演示 一、写在前面 （1）Transformer in Transformer Transformer in Transformer（TNT）模型是一种新的图像分类模型，由研究者在2021年提出。这种模型的特点是在传统的Vision Transformer模型的基础上，引入了一种新的结构，使得模型可以更好地处理图像的局部和全局信息。 在传统的Vision Transformer模型中，输入图像...
ViT-vision transformer
ViT-vision transformer 介绍 Transformer最早是在NLP领域提出的，受此启发，Google将其用于图像，并对分类流程作尽量少的修改。 起源：从机器翻译的角度来看，一个句子想要翻译好，必须考虑上下文的信息！ 如：The animal didn’t cross the street because it was too tired将其翻译成中文，这里面就涉及了it这个词的翻译，具体it是指...
深度学习笔记之Transformer(八)Transformer模型架构基本介绍
机器学习笔记之Transformer——Transformer模型架构基本介绍 引言回顾：简单理解： Seq2seq \text{Seq2seq} Seq2seq模型架构与自编码器自注意力机制 Transformer \text{Transformer} Transformer架构关于架构的简单认识多头注意力机制包含掩码的多头注意力机制基于位置信息的前馈神经网络 残差网络与层标准化操作编码器的输出与信息传递关于预测问...
深度学习笔记之Transformer(七)Position Embedding再回首：从公式角度认识位置编码
深度学习笔记之Transformer——Position Embedding再回首：从公式角度认识位置编码 引言回顾： Word2vec \text{Word2vec} Word2vec系列模型位置编码 Transformer \text{Transformer} Transformer：绝对位置编码 引言 本节我们将从公式角度重新认识 Transformer \text{Transformer} Transform...
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face 🤗 Transformers 在任意多语种语音识别 (ASR) 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要一个全部是代码，仅有少量解释的 Notebook，可以参阅这个 Google Colab。目录 简介在 Google Col...
深度学习笔记之Transformer(五) Position Embedding铺垫:Word2vec
深度学习笔记之Transformer——Position Embedding铺垫：Word2vec 引言回顾：关于词特征表示的 One-hot \text{One-hot} One-hot编码目标函数构建关于语料库与任务目标似然函数构建 Word2vec \text{Word2vec} Word2vec模型结构重点总结 引言 在Transformer(三)自注意力机制一节中介绍了位置编码 ( Position Emb...