AI 大语言模型安全测试
随着AI大语言模型的流行，关于LLM安全性越来越得到重视。LLM安全性是对正在使用的LLM的故障模式、导致故障的条件以及缓解措施的研究。 大语言模型可能无法以多种方式按预期或期望运行，这意味着他们无法得到信任。最重要的是，它们需要在软件（如 PyTorch、ONNX 或 CUDA）中运行，而这些沙盒可能并不安全。最后，当 LLM 以意外方式运行时，LLM 的部署方式及其输出的使用方式也可能失败，这也会带来安...
大语言模型LLM分布式训练：PyTorch下的大语言模型训练流程（LLM系列07）
文章目录 大语言模型LLM分布式训练：PyTorch下的大语言模型训练流程（LLM系列07）1. PyTorch DistributedDataParallel (DDP) 概述1.1 DDP的基本原理与实现机制1.2 初始化并使用`torch.nn.parallel.DistributedDataParallel`** 2. 构建BERT系列模型实例2.1 BERT架构解析2.2 利用PyTorch构建...
大语言模型LLM推理加速主流框架（LLM系列10）
文章目录 大语言模型LLM推理加速主流框架（LLM系列10）引言大语言模型推理基础LLM推理加速的主要途径模型优化技术硬件加速软件层面优化 主流LLM推理框架集成概述TensorRT-LLMPyTorch/TensorFlow Serving其他框架与工具 实例分析与应用案例** 大语言模型LLM推理加速主流框架（LLM系列10） 引言 大语言模型（Large Language Models, LLM），...
大语言模型LLM分布式训练：TensorFlow下的大语言模型训练实践（LLM系列05）
文章目录 大语言模型LLM分布式训练：TensorFlow下的大语言模型训练实践（LLM系列05）1. TensorFlow基础与`tf.distribute.Strategy`1.1 `MirroredStrategy`实现数据并行训练1.2 `MultiWorkerMirroredStrategy`应用于多节点并行训练 2. **构建GPT模型实例**2.1 GPT模型结构概览2.2 使用Tensor...
大语言模型LangChain + ChatGLM3-6B的组合集成：工具调用+提示词解读
文章目录 大语言模型LangChain + ChatGLM3-6B的组合集成：工具调用+提示词解读官方给出的提示词模板解读注解：1. 模板描述2. 工具调用规范3. 问题处理流程4. 最终响应5. 历史记录6. 实际应用举例 大语言模型LangChain + ChatGLM3-6B的组合集成：工具调用+提示词解读 官方给出的提示词模板 PROMPT_TEMPLATES[“agent_chat”] = { ...
大语言模型LLM分布式训练：PyTorch下的分布式训练（LLM系列06）
文章目录 大语言模型LLM分布式训练：PyTorch下的分布式训练（LLM系列06）一、引言二、PyTorch分布式训练基础三、PyTorch中实现数据并行训练四、优化分布式训练性能 大语言模型LLM分布式训练：PyTorch下的分布式训练（LLM系列06） 一、引言 1.1 分布式训练的重要性与PyTorch的分布式支持概览 在处理大数据集时，分布式训练通过将计算任务分散到多个GPU或节点上执行，极大地...
大语言模型LLM分布式训练：大规模数据集上的并行技术全景探索（LLM系列03）
文章目录 大语言模型LLM分布式训练：大规模数据集上的并行技术全景探索（LLM系列03）1. 引言1.1 大语言模型（LLM）的重要性及其规模化挑战1.2 分布式训练策略的需求 2. 分布式训练基础原理2.1 并行计算的基本概念与分类 3. LLM分布式训练的关键技术3.1 分布式同步训练算法3.2 参数服务器架构3.3 异步训练与优化策略3.4 超大规模LLM中的通信开销与梯度一致性解决方案 大语言模型...
torch\tensorflow在大语言模型LLM中的作用
文章目录 torch\tensorflow在大语言模型LLM中的作用 torch\tensorflow在大语言模型LLM中的作用 在大型语言模型（LLM）中，PyTorch和TensorFlow这两个深度学习框架起着至关重要的作用。它们为构建、训练和部署LLM提供了必要的工具和基础设施。 首先，PyTorch和TensorFlow都提供了高级的API和工具，使得研究人员和开发人员能够更容易地构建复杂的神经...
解锁大语言模型LLM对话潜力：ChatGLM3-6B的多轮对话实践与深入探索
文章目录 解锁大语言模型LLM对话潜力：ChatGLM3-6B的多轮对话实践与深入探索引言ChatGLM3-6B技术解读多轮对话实践CLI代码示例Prompt设计与引导策略角色扮演示例一句话问答示例 微信自动对话机器人 功能探索与潜力挖掘挑战与解决方案案例分析与实践经验结语与展望 解锁大语言模型LLM对话潜力：ChatGLM3-6B的多轮对话实践与深入探索 引言 随着人工智能技术的飞速发展，多轮对话系统已...
FAISS+bge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践
文章目录 FAISS+bge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践引言FAISS与bge-large-zh简介FAISS原理bge-large-zh原理 FAISS+bge-large-zh在LangChain本地知识库中的作用提高检索效率增强语义理解能力支持大规模数据处理 实践数据准备与处理FAISS索引构建与优化相似性搜索与聚类实践 性能评估与案例分析 FAIS...