Jeff Dean等人新作：换个角度审视语言模型，规模不够发现不了
近年来，语言模型对自然语言处理 (NLP) 产生了革命性影响。众所周知，扩展语言模型，例如参数等，可以在一系列下游 NLP 任务上带来更好的性能和样本效率。在许多情况下，扩展对性能的影响通常可以通过扩展定律进行预测，一直以来，绝大多数研究者都在研究可预测现象。相反，包括 Jeff Dean 、 Percy Liang 等在内的 16 位研究者合作的论文《 Emergent Abilities of L...
使用 LoRA 和 QLoRA 对大型语言模型进行参数高效的微调
概述 随着我们深入研究参数高效微调 (PEFT) 的世界，了解这种变革性方法背后的驱动力和方法变得至关重要。在本文中，我们将探讨 PEFT 方法如何优化大型语言模型 (LLM) 对特定任务的适应。我们将揭开 PEFT 的优点和缺点，深入研究 PEFT 技术的复杂类别，并破译两种卓越技术的内部工作原理：低秩适应（LoRA）和量化低秩适应（QLoRA）。本次旅程旨在让您全面了解这些技术，使您能够利用它们的力量...
Meta发布首个「非参数化」掩码语言模型NPM：吊打500倍参数量的GPT-3
虽然大型语言模型在NLP领域展现出的强大性能十分惊人，但其带来的负面代价也很严重，比如训练过于昂贵，难以更新等。，而且很难处理长尾知识。 并且语言模型通常采用在预测层采用一个包含有限词汇量的softmax层，基本上不会输出少见的单词或短语，极大限制了模型的表达能力。为了解决模型的长尾问题，最近来自华盛顿大学、Meta AI和艾伦人工智能研究所的学者联合提出了首个「非参数化掩码语言模型」（NonParam...
360与智谱AI宣布战略合作，共同研发千亿级大语言模型“360GLM”
验。本次合作为基础，智谱AI将进一步扩展和深化大型模型技术的应用，以提升更多行业的效率和用户体验。 免责声明：本文仅供参考，不构成投资建议。 广告以上就是360与智谱AI宣布战略合作，共同研发千亿级大语言模型“360GLM”的详细内容，更多请关注Work网其它相关文章！ ...
一文解码语言模型：语言模型的原理、实战与评估
目录 一、语言模型概述什么是语言模型？核心概念和数学表示挑战：高维度和稀疏性链式法则与条件概率举例 应用场景小结 二、n元语言模型（n-gram Language Models）基本概念数学表示 代码示例：计算Bigram概率输入与输出 优缺点优点缺点 小结 三、神经网络语言模型（Neural Network Language Models）基本概念数学表示 代码示例：简单的NNLM输入与输出 优缺点优...
阿里云开放测试大规模语言模型“通义千问”
产力工具深度结合，后续也得到阿里巴巴方面确认。还有消息称阿里达摩院将在今年下半年发布阿里大模型，大概有 ChatGPT 2.5 的水平。IT之家附测试链接：点此申请以上就是阿里云开放测试大规模语言模型“通义千问”的详细内容，更多请关注Work网其它相关文章！ ...
阿里云启动全面改造计划，推出大语言模型"通义千问"
下降了近24个百分点。这可能是阿里云进行优化的一个背景原因。抵消跨分部交易影响后，阿里巴巴集团今年第一季度的云业务收入同比下降了2%，营收为185.82亿元。为应对这一局面，阿里云于4月推出了最新的大语言模型"通义千问"，并计划将所有产品进行全面改造，以适应人工智能时代的发展。综上所述，阿里云的组织和人员优化计划旨在进一步优化业务战略、提升组织效率，并适应当前公有云市场的变化。阿里云将继续努力保持其在云计...
基于GPT4All的大型语言模型设计生态系统
GPT4All 一套专为强大、定制的大型语言模型设计的生态系统，能够在消费级CPU上本地运行。在GPT4All中，所使用的模型是一个3GB至8GB的文件，读者可以自行下载该文件，并将其插入到GPT4All的开源生态系统软件中。这一软件生态系统由Nomic AI提供支持并进行维护，其目的是确保系统的质量和安全性，同时也是为了推动任何个人或企业能够轻松地训练和部署自己的边缘大型语言模型。 总体平价是： 能不...
基于RWKV-Runner大语言模型系统
RWKV Runner 旨在消除大语言模型的使用门槛，全自动处理AI对话，并且提供了OpenAI API兼容的接口。使用起来简单方便，但是还是比较吃机器，显存2G到32G都可以使用，根据自己的模型选择即可。 总结起来： 使用起来方便简单，上手容易。 需要有电脑基础，很多地方还不是傻瓜化。 需要一些理论知识增强使用功能。 文章目录 软件安装 软件使用 主要功能和特点 完全兼容OpenAI API API支...
第九章（2）：长短期记忆网络（Long short-term memory, LSTM）与pytorch示例（简单字符级语言模型训练器）
第九章（2）：长短期记忆网络（Long short-term memory, LSTM）与pytorch示例（简单字符级语言模型训练器） 欢迎大家来到安静到无声的 《基于pytorch的自然语言处理入门与实践》，如果对所写内容感兴趣请看《基于pytorch的自然语言处理入门与实践》系列讲解 - 总目录，同时这也可以作为大家学习的参考。欢迎订阅，请多多支持！ 目录标题 第九章（2）：长短期记忆网络（Lon...