自然语言处理（扩展学习1）：Scheduled Sampling(计划采样)与2. Teacher forcing（教师强制） 欢迎大家来到安静到无声的 《基于pytorch的自然语言处理入门与实践》，如果对所写内容感兴趣请看《基于pytorch的自然语言处理入门与实践》系列讲解 - 总目录，同时这也可以作为大家学习的参考。欢迎订阅，请多多支持！ 目录标题 自然语言处理（扩展学习1）：Scheduled S...

论文地址：https://arxiv.org/pdf/2203.13474.pdf?trk=public_post_comment-text 一、简介 ​ 程序合成(program synthesis)的目标是自动化编程过程，从而生成能够满足用户意图的计算机程序。程序合成面临两个关键的挑战：(1) 搜索空间难以处理；(2) 难以确定用户意图。为了解决搜索空间的问题，本文将程序合成任务形式化为语言建模过程，即...

论文地址：https://arxiv.org/pdf/2303.17568.pdf 一、简介 ​ 代码生成的目标是：给定人类意图的描述(例如：“写一个阶乘函数”)，系统自动生成可执行程序。这个任务由来已久，解决的方案也层出不穷。近期，通过将程序看作是语言序列，利用深度学习的transformer架构进行建模，显著的改善了代码生成的质量。特别是当大规模的开源代码数据与大语言模型相结合。 ​ OpenAI的12...

原文地址：A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes 一、简介 ​ 语言模型正变的越来越大，PaLM已有有540B的参数量，而OPT、GPT-3和BLOOM则大约有176B参数量。下图是近些年语言模型...

论文地址：https://arxiv.org/pdf/2204.02311.pdf 一、简介 ​ 近些年，超大型神经网络在语言理解和生成的广泛任务上实现了令人惊讶的效果。这些模型通常是在大规模文本语料上，使用填充式的预训练目标和encoder-only或者encoder-decoder架构进行训练，然后通过微调来适应下游的具体任务。虽然这些模型在数千个自然语言任务上实现了state of the art，但...

合在了一起。 3.6　小结 托马斯·米科洛夫（Tomas Mikolov）在一系列论文 [22][23] 中提出了 word2vec。自论文发表以来，word2vec 受到了许多关注，它的作用也在许多自然语言处理任务中得到了证明。下一章，我们将结合具体的例子来说明 word2vec 的重要性，特别是 word2vec 的迁移学习的作用。 本章我们详细解释了 word2vec 的 CBOW 模型，并对其进行了实...

论文地址：https://arxiv.org/pdf/2112.09332.pdf 一、简介 ​ NLP \text{NLP} NLP中一个日益严峻的挑战是 long-form question-answering(LFQA) \text{long-form question-answering(LFQA)} long-form question-answering(LFQA)，其需要一个很长的答案来回答开...

Gensim是一个用于自然语言处理（NLP）的开源 Python 库，它可以帮助你进行文本处理。Gensim有许多优秀的特性，使它成为进行NLP文本处理的理想选择。 其中一个原因是Gensim提供了丰富的文本处理功能。例如可以使用Gensim进行文本分词、词干提取、词性标注、句法分析、主题建模等。这些功能对于进行文本分析和挖掘信息都非常有用。 另一个原因是Gensim非常易于使用。它提供了简单而直接的API...

注一个 prompt \text{prompt} prompt数据集。简单来说， prompt \text{prompt} prompt数据集中的单个样本是由一对文本组成，例如： Prompt: 使用自然语言处理造一个句子。 Demonstration：自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。 \begin{aligned} &\text{Prompt: 使用自然语言处理造一个句子。} \...

论文地址：https://arxiv.org/pdf/2201.11903.pdf 一、简介 ​ 语言模型为自然语言处理带来了革命，而扩大语言模型规模可以提高下游任务效果、样本效率等一系列的好处。然而，单纯扩大语言模型的尺寸并不能够使算术、常识和符号推理获得更好的表现。文本尝试使用简单的方法来解锁大规模语言模型的推理能力，该方法主要来自于两个想法：(1) 算术推理能够从自然语言论据中受益，从而得到最终的答案...