LangChain：大型语言模型（LLMs）-- 基础知识
1、LangChain的调用大型语言模型模块的介绍 LangChain是一个强大的框架，旨在通过调用大型语言模型（LLM）来开发各种语言驱动的应用程序。在LangChain中，LLM不仅仅是一个简单的模型调用，而是一个复杂链条中的关键部分。这个链条可能包括数据检索、模型推理、上下文感知等多个环节，共同构成了LangChain的强大功能。 LangChain对LLM的调用进行了高度抽象和优化，使得开发者可以轻...
LangChain：大型语言模型（LLMs）-- ChatGLM
1. 介绍 LangChain 是一个领先的框架，用于构建由大型语言模型（LLM）驱动的应用程序。在这个框架内，ChatGLM 作为一个重要的组件，为用户提供了强大的双语（中文-英文）对话功能。ChatGLM 基于通用的语言模型（GLM）框架，拥有数十亿级别的参数，确保了其对话的流畅性和准确性。通过量化技术，用户甚至可以在消费级显卡上进行本地部署，大大降低了使用门槛。 随着技术的不断进步，ChatGLM 也...
优化大型语言模型表现的策略与方法
在人工智能的世界里，大型语言模型如同 GPT-4 这样的存在，已经成为了一个璀璨的明星。这些模型的强大之处在于它们能够处理各种语言任务，比如写作、翻译和提问等。但是，想要让这些模型发挥出最大的作用，我们需要掌握一些技巧来提升它们的表现。本文将介绍一些实用的策略。 一、明确你的需求 在与语言模型的互动过程中，我们需要详细地阐述任务和要求。由于这些模型不具备读心能力，因此我们需要提供充足的信息，以便模型能够理解我...
李宏毅【生成式AI导论 2024】第6讲 大型语言模型修炼_第一阶段_ 自我学习累积实力
背景知识：机器怎么学会做文字接龙 详见：https://blog.csdn.net/qq_26557761/article/details/136986922?spm=1001.2014.3001.5501 在语言模型的修炼中，我们需要训练资料来找出数十亿个未知参数，这个过程叫做训练或学习。找到参数后，我们可以使用函数来进行文字接龙，拿这组参数来使用叫做测试或者是叫做推论。 语言模型学习的三个阶段虽然训练资...
大白话理解大型语言模型（LLM）：预训练和微调
引言： 在人工智能的世界里，大型语言模型（LLM）已成为一种强大的工具，它们不仅能理解和生成自然语言，还能在各种复杂任务中表现出色。本文将深入探讨这些模型的两个关键阶段：预训练和微调，以及它们在实际应用中的重要性。 1. 预训练阶段：建立基础 目的与过程：预训练是大型语言模型学习的起点，其目的是让模型掌握语言的基本统计规律和通用知识。这一阶段通常在大量无标签数据上进行，如网页文本、书籍、新闻等。学习内容：在预...
【大语言模型】大型语言模型的数据收集和预处理
前言 LLM（大型语言模型）是先进的人工智能模型，使用大量文本数据进行广泛的训练。 通过这种培训，他们学习语言结构和模式，并能够执行各种与语言相关的任务，例如摘要、翻译、情感分析等。 由于LLM具有执行以前机器难以完成的自然语言任务的卓越能力，近年来LLM受到了广泛关注。然而，开发和维护这些模型的成本可能很高，需要大量的计算资源和数据进行训练。 ...
大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法
一、介绍 BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer，它在各种下游任务上取得了最先进的结果：语言建模、下一句预测、问答、NER标记等。 尽管 BERT 性能出色，研究人员仍在继续尝试其配置，希望获得更好的指标。幸运的是，他们成功了，并提出了一种名为 RoBERTa 的新模型 - 鲁棒优化的 BERT 方法。 ...
大型语言模型：SBERT — Sentence-BERT
一、介绍 Transformer 在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。 以嵌入的形式表示单词具有巨大的优势，因为机器学习算法不能处理原始文本，但...