基于LLama3、Langchain,Chroma 构建RAG
概要： 使用Llama3 Langchain和ChromaDB创建一个检索增强生成（RAG）系统。这将允许我们询问有关我们的文档（未包含在训练数据中）的问题，而无需对大型语言模型（LLM）进行微调。在使用RAG时，首先要做一个检索步骤，从一个特殊的数据库中提取任何相关的文档，本文使用的是《欧盟人工智能法案》文本。 LLAMA3 Meta Llama 3是Meta股份有限公司开发的一系列模型，是最先进的新型模型，有...
LangChain 入门6 magic不同格式文件的读取
概述： 除了原始文本数据，可能还希望从其他文件类型（如PowerPoint演示文稿或PDF）中提取信息。 可以使用LangChain文档加载程序将文件解析为可以输入LLM的文本格式。 基于MIME类型的解析 数据加载 import requests response = requests.get("https://en.wikipedia.org/wiki/Car")data = response.conten...
LangChain 入门7 格式化输出
概述： LangChain 提供的格式化输出功能具有多个优势，这些优势在处理和分析由 AI 生成的内容时尤其有用： 结构化数据：格式化输出允许 AI 的回应以结构化的方式呈现，如 JSON 对象，这使得数据更易于解析和处理。 清晰的信息层次：通过格式化输出，可以清晰地区分不同的信息部分，例如回答、理由、来源引用等，从而提高信息的可读性和可用性。 自动化处理：结构化的输出可以被自动化工具和流程直接使用，无需额外的解...
DSPy 就是你需要的，放弃 LangChain 吧！
翻译自https://levelup.gitconnected.com/dspy-is-all-you-need-drop-langchain-now-1-5914ac4e31bb 提示工程的状态并不强大。只需看看我们现在必须包含在提示中的信息，以引出我们想要的回应。这既荒谬又令人担忧。拟人化的程度已经高得离谱。我们现在必须贿赂 LLMs？得了吧。 从一开始，我就发现提示工程有一些严重的局限性。同一个提示并不总是...
备忘，LangChain建立本地知识库的几个要点
本地知识库可以解决本地资源与AI结合的问题，为下一步应用管理已有资产奠定基础。 本地知识库的建立可参考LangChain结合通义千问的自建知识库 （二）、（三）、（四） 本文主要记录两个方面的问题 1 搭建过程中遇到的坑 2 向量是数据库改成ES7 1 搭建过程中遇到的坑 1） 安装bce-embedding-base_v1模型 需要用git clone到本地，但由于模型比较大，需要先安装git lfs管理大型的...
LangChain：大型语言模型（LLMs）-- 基础知识
1、LangChain的调用大型语言模型模块的介绍 LangChain是一个强大的框架，旨在通过调用大型语言模型（LLM）来开发各种语言驱动的应用程序。在LangChain中，LLM不仅仅是一个简单的模型调用，而是一个复杂链条中的关键部分。这个链条可能包括数据检索、模型推理、上下文感知等多个环节，共同构成了LangChain的强大功能。 LangChain对LLM的调用进行了高度抽象和优化，使得开发者可以轻松地将...
LangChain：大型语言模型（LLMs）-- ChatGLM
1. 介绍 LangChain 是一个领先的框架，用于构建由大型语言模型（LLM）驱动的应用程序。在这个框架内，ChatGLM 作为一个重要的组件，为用户提供了强大的双语（中文-英文）对话功能。ChatGLM 基于通用的语言模型（GLM）框架，拥有数十亿级别的参数，确保了其对话的流畅性和准确性。通过量化技术，用户甚至可以在消费级显卡上进行本地部署，大大降低了使用门槛。 随着技术的不断进步，ChatGLM 也推出了...
LangChain：索引(Indexes)--基础知识
引言 在当今信息爆炸的时代，如何高效地获取、处理和利用信息成为了关键。LangChain，作为一种先进的语言模型框架，提供了强大的索引功能，帮助用户更好地管理和应用文本数据。本文将详细介绍LangChain索引中的几个核心组件：文档加载器、文档转换器、文本嵌入模型、向量存储和检索器，以及父文档检索器、自查询检索器和集合检索器等高级特性。 文档加载器 文档加载器是LangChain索引的第一步，负责从各种来源加载文...
AI大模型探索之路-应用篇2：Langchain框架ModelIO模块—数据交互的秘密武器
目录 前言 一、概述 二、Model 三、Prompt 五、Output Parsers 总结 前言 随着人工智能技术的不断进步，大模型的应用场景越来越广泛。LangChain框架作为一个创新的解决方案，专为处理大型语言模型的输入输出而设计。其中，Model IO（输入输出）模块扮演着至关重要的角色，负责构建和管理数据交互的通道。本文将深入剖析ModelIO模块的工作原理、功能特性，以及如何通过该模...
AI大模型探索之路-应用篇6：Langchain框架Agent模块—智能化任务执行的核心
Act） 三、ReAct的机制流程（推理+行动） 四、Self-ask with search 五、OpenAI functions agent 六、自定义Agent 总结 前言 在人工智能的领域中，Langchain框架以其独特的Agent模块引起了广泛的关注。该模块作为智能化任务执行的核心，不仅体现了智能代理的强大能力，还展示了其在处理复杂任务中的高效性和精准度。本文将深入探讨Langchain框架的Agent...