赛博斗地主——使用大语言模型扮演Agent智能体玩牌类游戏。
通过大模型来实现多个智能体进行游戏对局这个想对已经比较成熟了无论是去年惊艳的斯坦福小镇还是比如metaGPT或者类似的框架都是使用智能体技术让大模型来操控，从而让大模型跳出自身“预测下一个token”的文字功能去探索更多的应用落地可能性。不过一直没有真正操作过，直到前段时间看到一个新闻《和GPT-4这些大模型玩狼人杀，人类因太蠢被票死，真·反向图灵测试》决定自己来玩一下。斗地主是一款国人比较熟悉的棋牌游...
百度ERNIE系列预训练语言模型浅析(4)-总结篇
on[J]. arXiv preprint arXiv:2107.02137, 2021.冯仕堃《百度知识增强技术ERNIE最新进展及其应用实践》 DataFun常见的 BERT Mask 策略自回归语言模型 VS 自编码语言模型【论文极速看】ERNIE 3.0 通过用知识图谱加强的语言模型ERNIE3.0 Demo试玩，被卷到了刷新50多个NLP任务基准，百度ERNIE 3.0知识增强大模型显威力什么是...
大型语言模型的新挑战：AMR语义表示的神秘力量
DeepVisionary 每日深度学习前沿科技推送&顶会论文&数学建模与科技信息前沿资讯分享，与你一起了解前沿科技知识！ 引言：AMR在大型语言模型中的作用 在自然语言处理（NLP）的领域中，抽象意义表示（Abstract Meaning Representation，简称AMR）作为一种语义表示方法，旨在通过提炼句子中的关键信息（如实体、关系等），以简化语义任务的处理过程。AMR通过显式表示句子的命...
AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA
系列篇章💥 AI大模型探索之路-训练篇1：大语言模型微调基础认知 AI大模型探索之路-训练篇2：大语言模型预训练基础认知 AI大模型探索之路-训练篇3：大语言模型全景解读 AI大模型探索之路-训练篇4：大语言模型训练数据集概览 AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化 AI大模型探索之路-训练篇6：大语言模型预训练数据准备-预处理 AI大模型探索之路-训练篇7：大语言模型Trans...
大语言模型与词向量表示
大语言模型（Large Language Models, LLMs）与词向量表示之间的关系是紧密相连的。以下是几个关键点，说明了它们之间的联系： 1. 高质量词向量的生成 大语言模型能够生成高质量的词向量表示。这些模型通过在大量文本数据上的预训练学习到单词和短语的丰富语义特征。大语言模型之所以能够生成高质量的词向量表示，主要得益于以下几个方面： 大规模数据预训练: 这些模型在海...
LLM——用于微调预训练大型语言模型（LLM）的GPU内存优化与微调
前言 GPT-4、Bloom 和 LLaMA 等大型语言模型（LLM）通过扩展至数十亿参数，实现了卓越的性能。然而，这些模型因其庞大的内存需求，在部署进行推理或微调时面临挑战。这里将探讨关于内存的优化技术，旨在估计并优化在 LLM 推理以及在多样化硬件配置上进行微调过程中的内存消耗。 首先，需要认识到大型语言模型在运行时的内存消耗主要受以下几个因素影响： 模型规模：模型拥有的参数数量直接决定了其对内存的...
DFER-CLIP——使用创新视觉语言模型进行动态面部表情识别
特的特点。例如，快乐和惊讶的表情都有扬眉的动作，而悲伤和愤怒的表情则有低眉和皱额的动作。基于这些相似性和特殊性，DFER-CLIP 将面部表情的动作描述作为文本编码器的输入。具体来说，该方法使用大规模语言模型自动生成上下文化的面部表情描述。这样就能全面描述每个面部表情类别的详细视觉特征。 语言模型的下列输入提示。 问：哪些视觉特征对{类名}的面部表情有用？答：{类名}面部表情的有用视觉特征包括： … 每个...
AI大模型探索之路-训练篇4：大语言模型训练数据集概览
数据集 二、常用微调数据集1、指令微调数据集1.1 自然语言处理任务数据集1.2 日常对话数据集1.3 合成数据集 2、人类对齐数据集 前言 在人工智能领域，构建强大的AI系统的关键步骤之一是大规模的语言模型预训练。为了实现这一目标，需要大量且多样化的训练数据。以下是对目前常用于训练大语言模型的数据集的整理与概述。 一、常用的预训练数据集 大语言模型在训练上需要大量的训练数据，这些数据需要涵盖广泛的内容范...
AI大模型探索之路-训练篇3：大语言模型全景解读
文章目录 前言一、语言模型发展历程1. 第一阶段：统计语言模型（Statistical Language Model, SLM）2. 第二阶段：神经语言模型（Neural Language Model, NLM）3. 第三阶段：预训练语言模型（Pre-trained Language Model, PLM）4. 第四阶段：大语言模型（Large Language Model, LLM） 二、大语言模型的...
AI大模型探索之路-训练篇11：大语言模型Transformer库-Model组件实践
系列篇章💥 AI大模型探索之路-训练篇1：大语言模型微调基础认知 AI大模型探索之路-训练篇2：大语言模型预训练基础认知 AI大模型探索之路-训练篇3：大语言模型全景解读 AI大模型探索之路-训练篇4：大语言模型训练数据集概览 AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化 AI大模型探索之路-训练篇6：大语言模型预训练数据准备-预处理 AI大模型探索之路-训练篇7：大语言模型Trans...