【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

一、引言

二、零样本物体检测（zero-shot-object-detection）

2.1 概述

2.2 技术原理

2.3 应用场景

2.4.1 pipeline对象实例化参数

一、引言

pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

今天介绍CV计算机视觉的第八篇，零样本物体检测（zero-shot-object-detection），在huggingface库内有36个零样本图像分类模型。

二、零样本物体检测（zero-shot-object-detection）

2.1 概述

零样本物体检测是一项计算机视觉任务，用于在图像中检测物体及其类别，而无需任何事先训练或类别知识。零样本物体检测模型接收图像作为输入，以及候选类别列表，并输出检测到物体的边界框和标签。

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

2.2 技术原理

比较典型的模型是google发布的owlvit-base-patch32，OWL-ViT 使用 CLIP 作为其多模态主干，使用类似 ViT 的 Transformer 获取视觉特征，使用因果语言模型获取文本特征。为了使用 CLIP 进行检测，OWL-ViT 删除了视觉模型的最终标记池层，并将轻量级分类和框头附加到每个 Transformer 输出标记。通过将固定分类层权重替换为从文本模型获得的类名嵌入，可以实现开放词汇分类。作者首先从头开始训练 CLIP，然后使用二分匹配损失在标准检测数据集上对分类和框头进行端到端微调。每个图像可以使用一个或多个文本查询来执行零样本文本条件对象检测。

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

2.3 应用场景

2.4 pipeline参数

2.4.1 pipeline对象实例化参数

2.4.2 pipeline对象使用参数

2.4 pipeline实战

分别采用google/owlvit-base-patch32和google/owlv2-base-patch16-ensemble对该图片进行分类

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

采用pipeline代码如下

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
from transformers import pipeline


detector = pipeline(model="google/owlvit-base-patch32", task="zero-shot-object-detection")
output=detector(
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    candidate_labels=["cat", "couch"],
)
print(output)


detector = pipeline(model="google/owlv2-base-patch16-ensemble", task="zero-shot-object-detection")
output=detector(
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    candidate_labels=["head", "bird"],
)
print(output)

执行后，自动下载模型文件并进行识别：

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

2.5 模型排名

在huggingface上，我们将零样本物体检测（zero-shot-object-detection）模型按下载量从高到低排序，总计36个模型，前10仅有google和IDEA-Research发布的模型，可能在物体检测方面，多数情况用不到zero-shot吧。

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）-LMLPHP

三、总结

本文对transformers之pipeline的零样本物体检测（zero-shot-object-detection）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的零样本物体检测（zero-shot-object-detection）模型。

期待您的3连+关注，如何还有时间，欢迎阅读我的其他文章：

《Transformers-Pipeline概述》

【人工智能】Transformers之Pipeline（概述）：30w+大模型极简应用

《Transformers-Pipeline 第一章：音频（Audio）篇》

【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）

【人工智能】Transformers之Pipeline（二）：自动语音识别（automatic-speech-recognition）

【人工智能】Transformers之Pipeline（三）：文本转音频（text-to-audio/text-to-speech）

【人工智能】Transformers之Pipeline（四）：零样本音频分类（zero-shot-audio-classification）

《Transformers-Pipeline 第二章：计算机视觉（CV）篇》

【人工智能】Transformers之Pipeline（五）：深度估计（depth-estimation）

【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

【人工智能】Transformers之Pipeline（七）：图像分割（image-segmentation）