重磅｜ Falcon 180B 正式在 Hugging Face Hub 上发布！
引言我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face！ Falcon 180B 为开源大模型树立了全新的标杆。作为当前最大的开源大模型，有180B 参数并且是在在 3.5 万亿 token 的 TII RefinedWeb 数据集上进行训练，这也是目前开源模型里最长的单波段预训练。你可以...
聊聊HuggingFace如何处理大模型下海量数据集
r模型。在这样的情况下，甚至连加载数据都可能是一个挑战。例如，用于预训练GPT-2的WebText语料库包含超过800万份文档和40GB的文本——将其加载到电脑的RAM中，可能会使其炸掉。幸运的是，HuggingFace DataSet 数据集的设计已经克服了这些限制，它通过将数据集视为内存映射文件(Memory-mapped file)来解决内存管理问题，并通过流(Streaming)处理语料库中的条目来解...
Hugging News #0821: Hugging Face 完成 2.35 亿美元 D 轮融资
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！🎉😍 重磅更新 重磅：🤗 2.35 亿 D 轮融资已完成 ✅🎉 又来分享好消息了 🤗 我们以 45 亿美元的估值完成了 2.35 亿美元的 D...
聊聊HuggingFace Transformer
概述参见：聊聊HuggingFace项目组件一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。Config用于配置模型的名称、最终输出的样式、隐藏层宽度和深度、激活函数的类别等。示例：{ "architectures": [ "BertForMaskedLM" ], "attention_probs_dropout_prob": 0.1, "grad...
Hugging News #0414: Attention 在多模态情景中的应用、Unity API 以及 Gradio 主题构建器
文档中构建交互式演示，并将这些演示直接贡献给文档。我们会使用 Gradio 库来创建前端应用，支持数据可视化库和 skops 集成，使用一行代码就能启动分类或回归界面。应用构建完成后，我们将创建一个 Hugging Face Space，上传应用文件和 requirements.txt 就可以将应用部署。最后将应用 PR 回 scikit-learn 库的原始文档。这是一个很好的贡献开源的方式，快来参加吧！ 查...
Hugging Face 的文本生成和大语言模型的开源生态
大的模型如 GPT-4，并且引发了爆发式的开源替代品变成主流如 Llama。我们认为这些技术将持续很长一段时间，并且会越来越集成到日常产品中。这篇博客分成一下几个部分: 文本生成的简明背景许可证Hugging Face 的生态中面向大语言模型的服务参数高效的微调 文本生成的简明背景文本生成模型本质上是以补全文本或者根据提示词生成文本为目的训练的。补全文本的模型被称之为条件语言模型 (Causal La...
详细介绍如何使用HuggingFace和PyTorch进行医学图像分割-附源码
到这一点，在这篇文章中，我们将探索威斯康辛大学麦迪逊分校胃肠道图像分割Kaggle 挑战数据集。作为该项目的一部分，我们将使用 PyTorch 和 PyTorch-Lightning。我们将使用 🤗 HuggingFace 转换器在医学分割数据集上加载和微调基于Segformer转换器的模型。最后，我们将创建一个用于图像推理的 Gradio 应用程序并将其部署在 HuggingFace 空间上。 什么是医学图像...
Hugging News #0731: 新课程重磅发布、用户交流群邀请你加入、真实图像编辑方法 LEDTIS 来啦！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ 🎉 😍重磅更新🚀🎨 Hugging Face x DeepLearning.ai 免费新课程发布！ Hugging Face 与 Deep...
Hugging News #0428: HuggingChat 来啦
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！Hugging Chat 来啦！ 我们认为需要有一个 ChatGPT 的开源替代品，让好的机器学习大众化，因此，我们推出了 HuggingCh...
Hugging Face中的Accelerate：让训练速度飞起来
Hugging Face中的Accelerate：让训练速度飞起来 Hugging Face是人工智能领域中一个非常受欢迎的开源工具库，提供了许多方便的自然语言处理和深度学习模型，如BERT、GPT-3等。其中，Accelerate是Hugging Face中非常有用的一个工具，它可以大幅提高模型的训练速度。本文将详细介绍Accelerate的原理、用法以及代码实现。 1. Accelerate的介绍 Acc...