基于GPT4All的大型语言模型设计生态系统
GPT4All 一套专为强大、定制的大型语言模型设计的生态系统，能够在消费级CPU上本地运行。在GPT4All中，所使用的模型是一个3GB至8GB的文件，读者可以自行下载该文件，并将其插入到GPT4All的开源生态系统软件中。这一软件生态系统由Nomic AI提供支持并进行维护，其目的是确保系统的质量和安全性，同时也是为了推动任何个人或企业能够轻松地训练和部署自己的边缘大型语言模型。 总体平价是： 能不...
基于RWKV-Runner大语言模型系统
RWKV Runner 旨在消除大语言模型的使用门槛，全自动处理AI对话，并且提供了OpenAI API兼容的接口。使用起来简单方便，但是还是比较吃机器，显存2G到32G都可以使用，根据自己的模型选择即可。 总结起来： 使用起来方便简单，上手容易。 需要有电脑基础，很多地方还不是傻瓜化。 需要一些理论知识增强使用功能。 文章目录 软件安装 软件使用 主要功能和特点 完全兼容OpenAI API API支...
第九章（2）：长短期记忆网络（Long short-term memory, LSTM）与pytorch示例（简单字符级语言模型训练器）
第九章（2）：长短期记忆网络（Long short-term memory, LSTM）与pytorch示例（简单字符级语言模型训练器） 欢迎大家来到安静到无声的 《基于pytorch的自然语言处理入门与实践》，如果对所写内容感兴趣请看《基于pytorch的自然语言处理入门与实践》系列讲解 - 总目录，同时这也可以作为大家学习的参考。欢迎订阅，请多多支持！ 目录标题 第九章（2）：长短期记忆网络（Lon...
【NLP】哪些现成的“已预先训练的语言模型”可以使用
预先训练的通用语言表示模型有着如此悠久的历史，具有巨大的影响，我们理所当然地认为它们是所有NLP任务的完全100%必要基础。有两个独立的步进函数创新推动了所有NLP任务的准确性：（1）统计语言模型，如Word2Vec和GloVe，以及最近的（2）神经语言模型，如BERT，ELMo和最近的BLOOM。在建模工作流开始时插入预先训练的神经语言模型几乎可以保证提高性能，这种结果 ...
行行AI人才直播第8期：新加坡国立大学在读博士生张傲《多模态大语言模型(MLLM)的简介及高效训练》
随着 ChatGPT 在各领域展现出非凡能力，多模态大型语言模型（MLLM）近来也成为了研究的热点，它利用强大的大型语言模型（LLM）作为“大脑”，可以执行各种多模态任务。更让人感慨的是，MLLM 展现出了传统方法所不具备的能力，比如能够根据图像创作故事，无需 OCR 的数学推理等，这为实现人工智能的通用智能提供了一条潜在路径。为此，行行AI人才特邀新加坡国立大学在读博士生张傲老师，给大家带来《多模态大...
如何使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创建是为了支持跨 GPU 和 TPU 的分布式训练，并使其能够非常容易的集成到训练代码中。🤗 Transformers 还支持使用 Trainer API 来训练，其在 PyTorch 中提供功能完整的训练接口...
构建Transformer模型 | 在wikiText-2数据集上训练一个语言模型
化层，编码器层，编码器，解码器层，解码器，输出层等，以及如何将上述各个模块组件成一个完整的transformer模型 P47-P56 为使用torchtext包，在wikiText-2数据集上训练一个语言模型。原教程非常详细，不再赘述，此处仅贴代码留作笔记。 需要提前说明的是，视频中的P1-P46部分，对Pytorch的版本没有太多要求，随便装一个即可，这里装的是比较稳定的版本torch 1.13.1，安...
深度学习笔记之递归网络(二)基于统计算法的语言模型
深度学习笔记之递归网络——基于统计算法的语言模型 引言回顾：序列特征与文本特征序列特征语言特征 语言模型语言模型的应用任务场景统计算法——使用计数进行建模统计算法——基于马尔可夫假设的 N-Gram \text{N-Gram} N-Gram语言模型 引言 上一节介绍了包含序列特征的数据，并介绍了处理序列数据的一些模型思想。本节从文本这类序列数据的角度，介绍学习文本特征的基于统计算法的语言模型。 回顾：序...
GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】
亿的模型参数（模型参数越大，模型的推理能力越强，当然随之训练模型的成本也就越高）。LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。如果想让一个预训练大语言模型能够执行特定领域内的任务，一般需要做fine-tuning，但是目前推理效果好的大语言模型参数维度非常...
卷起来！Dr. LLaMA：通过生成数据增强改进特定领域 QA 中的小型语言模型，重点关注医学问答任务...
大家好，最近突然发现了一篇在专门应用于医学领域的LLaMA，名为Dr.LLaMA（太卷了太卷了），就此来分享下该语言模型的构建方法和最终的性能情况。 总体说一下 最近的大语言模型（LLM）发展的太快了，大家也都知道，每周好几个语言模型，羊驼的名字都用不过来了（LLaMA、Alpaca、Vicana、华驼等），哈哈。 由于现有的模型很大（GPT4、ChatGPT），性能表现非常好，但是很多特定小方向性能还...