UniAudio 1.5：大型语言模型（LLMs）驱动的音频编解码器
大型语言模型（LLMs）在文本理解和生成方面展示了卓越的能力，但它们不能直接应用于跨模态任务，除非进行微调。本文提出了一种跨模态上下文学习方法，使未进行进一步训练的LLMs能够在少量示例的情况下，无需任何参数更新就能完成多种音频任务。核心思想是通过将音频模态压缩到训练有素的LLMs的令牌空间中，减少文本和音频之间的模态异质性。这样，音频表示可以被视为一种新的语言，LLMs可以通过几个示例学习...
大语言模型-Transformer
述 2.作用 3.诞生背景 4.历史版本 5.优缺点 5.1.优点 5.2.缺点 6.如何使用 7.应用场景 7.1.十大应用场景 7.2.聊天机器人 8.Python示例 9.总结 1.概述 大语言模型-Transformer是一种基于自注意力机制（self-attention）的深度学习模型，在处理序列数据（如自然语言）时展现出卓越的性能。Transformer模型由Vaswani等人在2017年...
低资源低成本评估大型语言模型（LLMs）
随着新的大型语言模型（LLMs）的持续发展，从业者发现自己面临着众多选择，需要从数百个可用选项中选择出最适合其特定需求的模型、提示[40]或超参数。例如，Chatbot Arena基准测试平台积极维护着近100个模型，以对用户指定的开放式查询进行基准测试。同样，AlpacaEval排行榜对805个问题上的200多个模型进行了基准测试。 Chatbot Arena基准测试平台：ht...
Qwen2——阿里巴巴最新的多语言模型挑战 Llama 3 等 SOTA
引言 经过几个月的期待， 阿里巴巴 Qwen 团队终于发布了 Qwen2 – 他们强大的语言模型系列的下一代发展。 Qwen2 代表了一次重大飞跃，拥有尖端的进步，有可能将其定位为 Meta 著名的最佳替代品 骆驼3 模型。在本次技术深入探讨中，我们将探讨使 Qwen2 成为大型语言模型 (LLM) 领域强大竞争者的关键功能、性能基准和创新技术。 Qwen2 型号系列 核心是 Qwen2 拥有一系列多样...
通过双模式对抗提示越狱视觉语言模型
最近，将视觉整合到大型语言模型（LLMs）中的兴趣显著增加，催生了大型视觉语言模型（LVLMs）。这些模型结合了视觉和文本信息，如LLaVA和Gemini，已经在包括图像字幕、视觉问题回答和图像检索等一系列任务中展示了不错的性能。然而，LVLMs表现出的行为很容易与其创造者预期的目标不一致，经常生成不真实或可能对用户有害的输出。 为了揭示和减轻这些安全风险，越狱攻击已经作为一种红...
LLM彻底改变软件开发的语言模型——使用新的评估工具包验证集成开发环境（IDE）中的大规模语言模型
1.概述 软件开发在不断发展，人们对采用最先进的技术提高开发人员的工作效率越来越感兴趣。其中，在集成开发环境（IDE）中使用大规模语言模型备受关注，OpenAI 的 GPT-3.5 和 GPT-4 以及开源的 Code Llama 都具有作为高性能编程助手的潜力。本文对在集成开发环境中利用大规模语言模型作为编程助手的实用性进行了评估，并考察了它们在各种编程场景和语言中的适应性。 该验证评估了五个主要开发...
大语言模型实战——最小化agent
1. agent是什么 大模型拥有语言理解和推理能力后，就相当于拥有了大脑，要让模型发挥更大的潜力，就需要给它安装上手臂，让它拥有行动的能力。 而Agent就是一个将语言模型和外部工具结合起来的智能体，它使用语言模型的推理能力做出决策，再调用外部工具来完成具体的行动，并将行动结果反馈给语言模型，这样语言模型可以通过行动的结果来做出进一步的决策，直到得出结果（工作流程如下图所示）。 由上可知，一个智能体系...
LLM答案抽取|xFinder：针对大型语言模型的稳健且精确的答案提取
【摘要】大型语言模型（LLM）的不断进步使人们越来越关注开发公平可靠的方法来评估其性能的关键问题。特别是测试集泄漏、提示格式过拟合等主观或非主观作弊现象的出现，给法学硕士的可靠评估带来了重大挑战。由于评估框架通常利用正则表达式 (RegEx) 进行答案提取，因此某些模型可能会调整其响应以符合 RegEx 可以轻松提取的特定格式。然而，基于正则表达式的关键答案提取模块经常出现提取错误。本文对整个LLM评估...
SpeechVerse：一个大规模可泛化的音频语言模型
SpeechVerse是一个由爱可可AI提出的新框架，旨在通过多任务学习和自然语言指令微调，使得大型语言模型（LLM）能够泛化到各种语音处理任务。该框架的核心优势在于其能够使语言模型不仅理解自然语言指令，还能执行与之相关的语音处理任务，这一点在11个不同的任务上已经证明了其有效性，击败了基准模型。 1、技术框架 音频编码器：使用一个大型预训练的自监督语音基础模型来将音频信号编码为特征序列。1D卷积...
PowerInfer-2：第一个智能手机上高速推理大型语言模型
大型语言模型（LLMs）以其卓越的理解和生成类人文本的能力，从根本上增强了我们的日常生活，并改变了我们的工作环境。当今最先进的LLMs，如GPT4和Claude-3，托管在数据中心，配备了最先进的GPU（例如，NVIDIA H100）。这些GPU提供了广泛的高带宽内存，并提供了达到数千万亿次的计算能力。同时，出现了一个趋势，即将LLMs部署在无处不在的智能手机上，将它们转变为智能个人助理。这种转...