【多模态实战】在本地计算机上使用小型视觉语言模型【VLM】进行目标计数【附源码】

《------往期经典推荐------》

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

这篇文章重点介绍的是具有无数实际应用的功能：在智能手机、物联网设备和嵌入式系统等边缘设备上运行小型视觉语言模型（VLM）。这些模型在识别和指出物体方面变得越来越好。具体来说，它们擅长检测制造缺陷、计算可用停车位或发现癌细胞。本文将使用视觉语言模型对图中的钢管数量进行计数，效果如下。
【多模态实战】在本地计算机上使用小型视觉语言模型【VLM】进行目标计数【附源码】-LMLPHP

使用模型：Molmo 7B

Molmo是由艾伦人工智能研究所创建的一组开放视觉语言模型。它们在PixMo上训练，PixMo是一个拥有100万个图像-文本对的数据集。基于Qwen 2 - 7 B和OpenAI CLIP构建的Molmo 7 B-D几乎与GPT-4V和GPT-4 o一样好用。

引擎：MLX-VLM

MLX-VLM是Prince Canuma（Blaizzy）开发的一款工具，用于在Mac上使用MLX运行和微调视觉语言模型（VLM）。它支持许多模型，如molmo，llava，llava_bunny，llava_next，mllama，multi_modality，paligemma，phi3_v，pixtral和qwen2_vl。这些模型可在MLX社区的Hugging Face上找到，您可以在那里免费下载。

MLX社区

Hugging Face上的MLX社区是一个分享Apple MLX框架的预转换模型权重的中心。它提供的模型可以用于训练、微调和部署大型语言模型（LLMs）和视觉模型等任务。已经实现的一些流行任务，如语音识别的耳语和图像生成的稳定扩散。用户还可以通过上传模型或在项目中使用MLX工具来做出贡献。

具体实现示例

我们将使用下面的图片来测试我们的工作流程。您可以替换图像并调整不同应用程序的提示。例如，您可以计算停车场中的汽车数量、人群中的人数或确定体育场中的空座位。本文将使用视觉语言模型对下图中的钢管数量进行检测计数。

【多模态实战】在本地计算机上使用小型视觉语言模型【VLM】进行目标计数【附源码】-LMLPHP

首先，我们需要设置一个虚拟环境并安装所需的库。以下是步骤列表：

创建并激活虚拟环境。
安装必要的软件包：

pip install -U mlx-vlm
pip install einops
pip install torch torchvision
pip install matplotlib

在MLX中运行Molmo

在MLX中运行此模型非常容易。您可以复制并粘贴以下代码，然后就可以尝试这个模型了。请确保根据您的用例更改图像路径。对我来说，我将保留pipes_test.jpg，在提示符中，我只会简单地问：“Point the pipes in the images。"【指向图像中的管道】

from mlx_vlm import load, apply_chat_template, generate
from mlx_vlm.utils import load_image
import matplotlib.pyplot as plt

model, processor = load("mlx-community/Molmo-7B-D-0924-4bit",processor_config={"trust_remote_code": True})
config = model.config

image_path = "pipes_test.jpg"
image = load_image(image_path)

messages = [{"role": "user", "content": "Point the pipes in the images"}]

prompt = apply_chat_template(processor, config, messages)

output = generate(model, processor, image, prompt, max_tokens=1200, temperature=0.7)
print(output)

上面的代码片段的输出如下：

<points x1="12.3" y1="76.8" x2="17.0" y2="63.9" x3="19.8" y3="49.0" x4="20.7" y4="80.6" x5="24.9" y5="66.7" x6="26.8" y6="50.8" x7="30.9" y7="84.8" x8="33.6" y8="70.2" x9="40.0" y9="88.3" alt="pipes in the images">pipes in the images</points>

然而，为了验证这个输出，我们需要对这些点进行后处理并绘制在我们的图像之上。

绘制输出结果

让我们实现两个函数：第一个用于解析点坐标，第二个用于绘制它们。在解析点时，需要注意的是，坐标是根据图像的宽度和高度进行规范化的。如下面的代码片段所示，我们需要将归一化值除以100，然后分别乘以图像的宽度和高度。

def parse_points(points_str):
    # Function was taken from https://github.com/Blaizzy/mlx-vlm
    if isinstance(points_str, tuple):
        return points_str

    x_coords = []
    y_coords = []

    # Handle multi-point format
    if 'x1="' in points_str:
        i = 1
        while True:
            try:
                x = float(points_str.split(f'x{i}="')[1].split('"')[0])
                y = float(points_str.split(f'y{i}="')[1].split('"')[0])
                x_coords.append(x)
                y_coords.append(y)
                i += 1
            except IndexError:
                break
    elif 'x="' in points_str:
        x = float(points_str.split('x="')[1].split('"')[0])
        y = float(points_str.split('y="')[1].split('"')[0])
        x_coords.append(x)
        y_coords.append(y)

    try:
        labels = points_str.split('alt="')[1].split('">')[0].split(", ")
        item_labels = labels
    except IndexError:
        item_labels = [f"Point {i+1}" for i in range(len(x_coords))]

    return x_coords, y_coords, item_labels

现在让我们使用Matplotlib来绘制图像顶部的点的位置。您也可以绘制标签。

def plot_locations(points: str | tuple, image, point_size=10, font_size=12):
    if isinstance(points, str):
        x_coords, y_coords, item_labels = parse_points(points)
    else:
        x_coords, y_coords, item_labels = points

    grayscale_image = image.convert("L")

    img_width, img_height = grayscale_image.size

    x_norm = [(x / 100) * img_width for x in x_coords]
    y_norm = [(y / 100) * img_height for y in y_coords]

    if len(item_labels) != len(x_norm):
        item_labels *= len(x_norm)

    plt.figure(figsize=(10, 8))
    plt.imshow(grayscale_image, cmap="gray")

    plt.axis("off")

    for i, (x, y, label) in enumerate(zip(x_norm, y_norm, item_labels), start=1):
        label_with_number = f"{i}"
        plt.plot(x, y, "o", color="red", markersize=point_size, label=label_with_number)

        plt.annotate(
            label_with_number,
            (x, y),
            xytext=(0, 10),
            textcoords="offset points",
            ha="center",
            color="red",
            fontsize=font_size,
        )

    plt.show()

最终结果

您可以看到管道被正确地标识，并且每个管道都有一个关联的ID。您可以修改代码并尝试许多其他用例。

【多模态实战】在本地计算机上使用小型视觉语言模型【VLM】进行目标计数【附源码】-LMLPHP

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！

阿_旭