【AI大模型】Transformers大模型库(十四):Datasets Viewer-LMLPHP

目录

一、引言 

二、Datasets Viewer数据查看器

2.1 概述

2.2 示例

三、总结


一、引言 

 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。

本文重点介绍Hugging Face的Datasets Viewer用法

二、Datasets Viewer数据查看器

2.1 概述

 Datasets Viewer是一个轻量级的 Web API,用于可视化和探索存储在 Hugging Face Hub上的所有类型的数据集(计算机视觉、语音、文本和表格)。 

数据集查看器的主要功能是将所有Hub 数据集自动转换为Parquet。

随着数据集的大小和数据类型的丰富性不断增加,预处理(存储和计算)这些数据集的成本可能非常高且耗时。为了帮助用户访问这些现代数据集,数据集查看器在后台运行服务器以提前生成 API 响应并将其存储在数据库中,以便当您通过 API 进行查询时立即返回它们。

让数据集查看器处理繁重的工作,这样您就可以在 Hugging Face 上的 100,000 多个数据集中的任何一个上使用简单的REST API来:

2.2 示例

比如,这是ShareGPT4Video/ShareGPT4Video数据集的Dataset Viewer

【AI大模型】Transformers大模型库(十四):Datasets Viewer-LMLPHP

三、总结

以上步骤展示了如何使用Datasets Viewer来查看数据,Datasets是hugging face主要我存储资源之一,通过Datasets Viewer可以快速查看。

如果您还有时间,可以看看我的其他文章:

《AI—工程篇》

AI智能体研发之路-工程篇(一):Docker助力AI智能体开发提效

AI智能体研发之路-工程篇(二):Dify智能体开发平台一键部署

AI智能体研发之路-工程篇(三):大模型推理服务框架Ollama一键部署

AI智能体研发之路-工程篇(四):大模型推理服务框架Xinference一键部署

AI智能体研发之路-工程篇(五):大模型推理服务框架LocalAI一键部署

《AI—模型篇》

AI智能体研发之路-模型篇(一):大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用

AI智能体研发之路-模型篇(二):DeepSeek-V2-Chat 训练与推理实战

AI智能体研发之路-模型篇(三):中文大模型开、闭源之争

AI智能体研发之路-模型篇(四):一文入门pytorch开发

AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比

AI智能体研发之路-模型篇(六):【机器学习】基于tensorflow实现你的第一个DNN网络

AI智能体研发之路-模型篇(七):【机器学习】基于YOLOv10实现你的第一个视觉AI大模型

AI智能体研发之路-模型篇(八):【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战

AI智能体研发之路-模型篇(九):【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战

《AI—Transformers应用》

【AI大模型】Transformers大模型库(一):Tokenizer

【AI大模型】Transformers大模型库(二):AutoModelForCausalLM

【AI大模型】Transformers大模型库(三):特殊标记(special tokens)

【AI大模型】Transformers大模型库(四):AutoTokenizer

【AI大模型】Transformers大模型库(五):AutoModel、Model Head及查看模型结构

06-27 06:29