SKETCHPAD——允许语言模型生成中间草图,在几何、函数、图算法和游戏策略等所有数学任务中持续提高基础模型的性能
体检测中，会在物体周围绘制一个边界框；在深度估计中，会根据深度绘制一个颜色图，从而提高模型的检测性能。最近提出的 "BLINK "和 "VBench"也侧重于中间草图。但与此同时，对目前基于草图推理的语言模型所使用的框架还没有进行充分的研究。 本文提出的 SKETCHPAD 是一种为推理生成中间草图的工具。它受到文本排序链（CoT）推理的启发，促使底层视觉语言模型生成视觉工件，作为文本、程序和视觉推理混合...
自动生成元启发式算法：大语言模型在优化领域的新应用
近年来，随着大语言模型（LLM）技术的快速发展，这些模型在算法自动化设计中的潜力引起了广泛关注。特别是在元启发式算法设计领域，研究人员开始利用LLM生成新型优化算法，为复杂问题求解提供了更多可能性。 元启发式算法与其挑战 元启发式算法是一类通用的优化算法，通过模拟自然现象或抽象行为（如遗传、进化或动物行为）来解决复杂的优化问题。这类算法需要平衡全局探索和局部开发，设计时通常需要大量的领域知识和经验。然而...
【多模态实战】在本地计算机上使用小型视觉语言模型【VLM】进行目标计数【附源码】
7B引擎：MLX-VLMMLX社区具体实现示例在MLX中运行Molmo绘制输出结果最终结果 引言 这篇文章重点介绍的是具有无数实际应用的功能：在智能手机、物联网设备和嵌入式系统等边缘设备上运行小型视觉语言模型（VLM）。这些模型在识别和指出物体方面变得越来越好。具体来说，它们擅长检测制造缺陷、计算可用停车位或发现癌细胞。本文将使用视觉语言模型对图中的钢管数量进行计数，效果如下。 使用模型：Molmo 7B...
自然语言处理NLP——基于电影知识图谱和大型语言模型（LLM）的KBQA问答机器人（增加自然语言提取实体及可视化）
文章目录 参考可视化逻辑运行演示 参考 https://github.com/Xiaoheizi2023/NLP_KBQA 可视化逻辑 提取出实体后去neo4j搜寻实体相关的图谱，然后返回数据再进行可视化可视化工具 cytoscape.js提取实体逻辑：分词后比对关键词 运行 数据库：Mysql(保存聊天和用户和帖子信息) neo4j(保存图谱信息) 后端：flask blueprint 前端：三件套 ...
【实战教程】在本地计算机上运行AI视觉语言模型：通过文本实现目标检测任务【附源码】
样本目标检测示例 总结 引言 对于小型LLMs生态系统，其在边缘设备上实现应用程序中有巨大的潜力。例如在医学和建筑，商业，监控等许多行业中，应用程序是无穷无尽的。 本文将介绍如何在PC上运行的小型视觉语言模型（LLM）moondream，并运行它做一些对象检测的实验。 实现步骤 运行模型 首先，让我们从如何运行模型开始，它非常简单。只需确保安装依赖项并下载模型（它不到2GB，很小但很强大）。此处使用的是开...
人工智能大语言模型起源篇（一），从哪里开始
序言：许多人最初接触人工智能都是在ChatGPT火热之际，并且大多停留在应用层面。对于希望了解其技术根源的人来说，往往难以找到方向。因此，我们编写了《人工智能大语言模型起源篇》，旨在帮助读者找到正确的学习路径，了解大型语言模型的大致起源。本文将分为三个部分，介绍当前主流的大型语言模型架构Transformer（变换器）模型的起源及其发展历程。Transformer并非横空出世，而是人工智能领域研究者们在...
将大型语言模型（如GPT-4）微调用于文本续写任务
要将大型语言模型（如GPT-4）微调用于文本续写任务，构造高质量的训练数据至关重要。以下是如何构造训练数据的详细步骤： 1. 数据收集： 多样性： 收集多种类型的文本，包括小说、新闻、论文、博客等，以确保模型能够适应不同的写作风格和主题。版权问题： 确保所使用的数据没有版权限制，或者获得了必要的使用权限。 2. 数据预处理： 文本清洗： 去除噪音，如HTML标签、特殊字符和乱码。分段处理： 将长文本分成...
探索大型语言模型（LLMs）能否在不泄露私人信息的情况下联合其他大型语言模型共同解决问题
概述 谷歌的 Gemini Ultra（2023 年）和 OpenAI 的 GPT-4 （2023 年）等大规模语言模型在许多任务中都表现出了令人印象深刻的性能。然而，这些模型不仅推理成本高昂，而且运行于数据中心，而数据中心并非本地环境，无法获得私人数据。另一方面，可以在私人环境中运行的模型，如 Gemini Nano，可以在用户的设备上运行，但其性能有限。 为了在私密环境中实现最先进的性能，需要本地模...
MatSci-LLM ——潜力和挑战以及大规模语言模型在材料科学中的应用
概述 大规模语言模型的出现正在从根本上改变技术开发和研究的方式。大规模语言模型不仅对自然语言处理领域产生了重大影响，而且对许多相关领域也产生了重大影响，例如从文本生成图像的计算机视觉（Zhang 等人，2023 年）。因此，将大规模语言模型的能力融入各行各业的工作正在加速进行。 例如，医疗保健（He 等人，2023 年）、法律（Dahl 等人，2024 年）、金融（Wu 等人，2023 年a）和软件工程...
大语言模型：谁来评判搜索结果的相关性？
关重要的任务。简单来说，它决定了在你搜索某个问题时，回传的文档是否真正解答了你的问题。而过去，这项任务主要依赖于人类专家的判断，譬如美国国家标准与技术研究所（NIST）几十年来的评估流程。然而，随着大语言模型（LLMs，Large Language Models）的崛起，自动化相关性评估似乎不再是科幻小说中的情节，而是一个切实可行的研究方向。 在《A Large-Scale Study of Releva...