基于Python的自然语言处理系列（54）：Neo4j DB QA Chain 实战
在本篇文章中，我们将演示如何利用LangChain框架和Neo4j图数据库来构建一个基于问答链（QA Chain）的查询系统。通过调用大语言模型（LLM），可以动态生成Cypher查询，从而简化数据库查询的流程。这种方法非常适合应用于知识图谱、推荐系统等需要灵活数据查询的场景。 一、准备工作 在开始之前，请确保已经安装了Neo4j和LangChain库，并且已将Neo4j数据库在本地运行。 pip ...
基于Python的自然语言处理系列（50）：Soft Prompt 实现
在本篇文章中，我们将实现一个简单的 Soft Prompt 技术，该技术允许我们仅微调新增的嵌入权重，而保持预训练模型不变。Soft Prompt 的主要优势在于它的参数高效性，使得模型在特定任务上快速适应，而无需重新训练模型的所有权重。 1. Soft Prompt 概述 Soft Prompt 技术来源于论文 The Power of Scale for Parameter-Efficient ...
基于Python的自然语言处理系列（23）：DrQA
在本篇文章中，我们将实现 DrQA 模型，该模型最初由论文 Reading Wikipedia to Answer Open-Domain Questions 提出。DrQA 是一种用于开放域问答系统的端到端解决方案，最初包括信息检索模块和深度学习模型。本次实现中，我们主要探讨 DrQA 的深度学习模型部分。 1. 数据加载 DrQA 使用了斯坦福问答数据集（SQuAD）。该数据集由一系列 Wiki...
基于Python的自然语言处理系列（22）：模型剪枝（Pruning）
在深度学习领域，尤其是当模型部署到资源有限的环境中时，模型压缩技术变得尤为重要。剪枝（Pruning）是一种常见的模型压缩方法，通过减少模型中不重要的参数，可以在不显著降低模型性能的情况下提升效率。在本文中，我们将详细介绍如何在PyTorch中使用剪枝技术，并通过一些实验展示其效果。 1. 加载数据集与预处理 我们将使用TorchText库加载常用的AG_NEWS数据集，并进行预处理。首先，导入必要...
基于Python的自然语言处理系列（19）：基于LSTM的语言模型实现
在本篇博文中，我们将深入探讨如何使用长短期记忆网络（LSTM）构建一个简单的语言模型。这一模型的基本原理与ChatGPT相似，但实现方式更加简单。我们将以论文《Regularizing and Optimizing LSTM Language Models》为基础，逐步实现代码。 1. 加载数据集 我们使用WikiText数据集，它包含丰富的文本内容，非常适合语言建模任务。数据集通过HuggingF...