2024年7月——使用ESM3（进化尺度的蛋白质语言模型）
需要的库：huggingface path = Path(snapshot_download(repo_id="EvolutionaryScale/esm3-sm-open-v1")) 权重文件会下载到当前工作目录下的 .cache/huggingface/datasets/downloads 目录中。 安装：pip install esm （esm2安装是 pip install fair-esm ，）...
VideoAgent——使用大规模语言模型作为代理来理解长视频
概述 论文地址：https://arxiv.org/pdf/2403.10517 本研究引入了一个新颖的基于代理的系统，名为 VideoAgent。该系统以大规模语言模型为核心，负责识别关键信息以回答问题和编辑视频。VideoAgent 在具有挑战性的 EgoSchema 和 NExT-QA 基准上进行了评估，平均帧数分别为 8.4 帧和 8.2 帧，零镜头准确率分别达到 54.1% 和 71.3%。的...
【自然语言处理】预训练语言模型实现与应用
预训练语言模型实现与应用 1 任务目标 1.1 案例简介 2018年，Google提出了预训练语言模型BERT，该模型在各种NLP任务上都取得了很好的效果。与此同时，它的使用十分方便，可以快速地对于各种NLP任务进行适配。因此，BERT已经被广泛地使用到了各种NLP任务当中。在本案例中，我们会亲手将BERT适配到长文本关系抽取任务DocRED上，从中了解BERT的基本原理和技术细节。关系抽取是自然语...
UniAudio 1.5：大型语言模型（LLMs）驱动的音频编解码器
大型语言模型（LLMs）在文本理解和生成方面展示了卓越的能力，但它们不能直接应用于跨模态任务，除非进行微调。本文提出了一种跨模态上下文学习方法，使未进行进一步训练的LLMs能够在少量示例的情况下，无需任何参数更新就能完成多种音频任务。核心思想是通过将音频模态压缩到训练有素的LLMs的令牌空间中，减少文本和音频之间的模态异质性。这样，音频表示可以被视为一种新的语言，LLMs可以通过几个示例学习...
大语言模型-Transformer
述 2.作用 3.诞生背景 4.历史版本 5.优缺点 5.1.优点 5.2.缺点 6.如何使用 7.应用场景 7.1.十大应用场景 7.2.聊天机器人 8.Python示例 9.总结 1.概述 大语言模型-Transformer是一种基于自注意力机制（self-attention）的深度学习模型，在处理序列数据（如自然语言）时展现出卓越的性能。Transformer模型由Vaswani等人在2017年...
低资源低成本评估大型语言模型（LLMs）
随着新的大型语言模型（LLMs）的持续发展，从业者发现自己面临着众多选择，需要从数百个可用选项中选择出最适合其特定需求的模型、提示[40]或超参数。例如，Chatbot Arena基准测试平台积极维护着近100个模型，以对用户指定的开放式查询进行基准测试。同样，AlpacaEval排行榜对805个问题上的200多个模型进行了基准测试。 Chatbot Arena基准测试平台：ht...
Qwen2——阿里巴巴最新的多语言模型挑战 Llama 3 等 SOTA
引言 经过几个月的期待， 阿里巴巴 Qwen 团队终于发布了 Qwen2 – 他们强大的语言模型系列的下一代发展。 Qwen2 代表了一次重大飞跃，拥有尖端的进步，有可能将其定位为 Meta 著名的最佳替代品 骆驼3 模型。在本次技术深入探讨中，我们将探讨使 Qwen2 成为大型语言模型 (LLM) 领域强大竞争者的关键功能、性能基准和创新技术。 Qwen2 型号系列 核心是 Qwen2 拥有一系列多样...
通过双模式对抗提示越狱视觉语言模型
最近，将视觉整合到大型语言模型（LLMs）中的兴趣显著增加，催生了大型视觉语言模型（LVLMs）。这些模型结合了视觉和文本信息，如LLaVA和Gemini，已经在包括图像字幕、视觉问题回答和图像检索等一系列任务中展示了不错的性能。然而，LVLMs表现出的行为很容易与其创造者预期的目标不一致，经常生成不真实或可能对用户有害的输出。 为了揭示和减轻这些安全风险，越狱攻击已经作为一种红...
LLM彻底改变软件开发的语言模型——使用新的评估工具包验证集成开发环境（IDE）中的大规模语言模型
1.概述 软件开发在不断发展，人们对采用最先进的技术提高开发人员的工作效率越来越感兴趣。其中，在集成开发环境（IDE）中使用大规模语言模型备受关注，OpenAI 的 GPT-3.5 和 GPT-4 以及开源的 Code Llama 都具有作为高性能编程助手的潜力。本文对在集成开发环境中利用大规模语言模型作为编程助手的实用性进行了评估，并考察了它们在各种编程场景和语言中的适应性。 该验证评估了五个主要开发...
大语言模型实战——最小化agent
1. agent是什么 大模型拥有语言理解和推理能力后，就相当于拥有了大脑，要让模型发挥更大的潜力，就需要给它安装上手臂，让它拥有行动的能力。 而Agent就是一个将语言模型和外部工具结合起来的智能体，它使用语言模型的推理能力做出决策，再调用外部工具来完成具体的行动，并将行动结果反馈给语言模型，这样语言模型可以通过行动的结果来做出进一步的决策，直到得出结果（工作流程如下图所示）。 由上可知，一个智能体系...