大模型语言模型：从理论到实践
大模型语言模型：从理论到实践 一、资源获取链接二、概念整理定义发展历程 大模型的基本构成 一、资源获取链接 《大规模语言模型：从理论到实践》、复旦大学课件 链接/提取码：x7y6 二、概念整理 定义 大规模语言模型（Large Language Models，LLM），也称大语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标注文本进行训练。...
主流大语言模型集体曝出训练数据泄露漏洞
内容概要： 安全研究人员发现，黑客可利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭，对齐和未对齐模型）中大规模提取训练数据。当前绝大多数大语言模型的记忆（训练数据）可被恢复，无论该模型是否进行了所谓的“对齐”。黑客可以通过查询模型来有效提取训练数据，甚至无需事先了解训练数据集。 安全研究者展示了如何从Pythia或GPT-Neo等开源语言模型、LLaMA或Falcon等主流半开放模型以及...
大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法
一、介绍 BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer，它在各种下游任务上取得了最先进的结果：语言建模、下一句预测、问答、NER标记等。 尽管 BERT 性能出色，研究人员仍在继续尝试其配置，希望获得更好的指标。幸运的是，他们成功了，并提出了一种名为 RoBERTa 的新模型 - 鲁棒优化的 BERT 方法。 ...
CogVLM与CogAgent：开源视觉语言模型的新里程碑
引言 随着机器学习的快速发展，视觉语言模型（VLM）的研究取得了显著的进步。今天，我们很高兴介绍两款强大的开源视觉语言模型：CogVLM和CogAgent。这两款模型在图像理解和多轮对话等领域表现出色，为人工智能的发展开辟了新的道路。 CogVLM：强大的开源视觉语言模型 CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿的视觉参数和70亿的语言参数，支持490*490分辨率的图像...
大型语言模型：SBERT — Sentence-BERT
一、介绍 Transformer 在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。 以嵌入的形式表示单词具有巨大的优势，因为机器学习算法不能处理原始文本...
关于大语言模型LLM插件和Agent的一些想法
browser will not understand how to play the video. 插件是安装在程序上的软件附加组件，目的是增强其功能，核心是形成围绕基础软件的生态，而这个逻辑放到大语言模型上也是成立的，大语言模型通过插件增强了其能力边界，如实时股票搜索、知识库搜索等功能，来形成围绕大模型基础能力的生态，以适应在不同场景中形成解决方案。 ChatGPT的插件 类似讯飞星火的插件 百度千帆...
用于 ChatGPT 的 FPGA 加速大型语言模型
简介：大型语言模型 近年来，大型语言模型 （LLM） 彻底改变了自然语言处理领域，使机器能够生成类似人类的文本并进行有意义的对话。这些模型，例如 OpenAI 的 GPT，具有惊人的理解和生成语言的能力。它们可用于广泛的自然语言处理任务，包括文本生成、翻译、摘要、情感分析等。 大型语言模型通常使用深度学习技术构建，特别是使用 Transformer 架构。Transform...
大型语言模型要避免的六个陷阱
从安全和隐私问题到错误信息和偏见，大型语言模型带来了风险和回报。最近人工智能(AI)取得了令人难以置信的进步，这主要是由于开发大型语言模型的进步。这些都是文本和代码生成工具的核心，例如ChatGPT、Bard和GitHub的Copilot。这些模式正在被所有部门采用。但是，它们是如何被创造和使用的，以及它们如何被滥用，仍然令人担忧。一些国家已经决定采取激进的方法，暂时禁止特定的大型语言模型，直到适当的法...
GPT大语言模型Alpaca-lora本地化部署实践
0亿的模型参数（模型参数越大，模型的推理能力越强，当然随之训练模型的成本也就越高）。LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。如果想让一个预训练大语言模型能够执行特定领域内的任务，一般需要做fine-tuning，但是目前推理效果好的大语言模型参数维度非常...
三星正开发“类 ChatGPT”AI 大语言模型供内部使用
IT之家 6 月 9 日消息，据韩媒“Chosun Ilbo”6 月 8 日报道，三星电子已于本月初正式开启了大语言模型（LLM）的开发工作。 该项目由三星研究院主导，动员了所有相关的人力和资源，以 7 月末完成初期开发为目标，该项目将供三星内部使用。 ▲ 图源三星官方 IT之家注意到，多名三星相关人士向韩媒表示，所有其他内部软件开发组织都被限制使用 GPU，且主要关联公司也都成立了人工智能开发小组，因...