【深度学习与NLP】——注意力机制
1 注意力机制 1.1 学习目标 了解什么是注意力计算规则以及常见的计算规则.了解什么是注意力机制及其作用.掌握注意力机制的实现步骤. 什么是注意力: 我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制. 什么是注意力计算规则...
【学习方法】高效学习因素 ① ( 开始学习 | 高效学习因素五大因素 | 高效学习公式 - 学习效果 = 时间 x 注意力 x 精力 x 目标 x 策略 )
文章目录 一、高效学习因素1、开始学习2、高效学习因素五大因素3、高效学习公式 - 学习效果 = 时间 x 注意力 x 精力 x 目标 x 策略 一、高效学习因素 1、开始学习 对于 学习差 , 调皮捣蛋 的学生 , 不要把 学习成绩差 的 原因 归因为 不爱学习 / 没有学习方法 , 可能是 还没有 " 开始学习 " ; 这个阶段的学生 , 需要的不是 " 学习方法 / 学习理论 " , 而是要 "...
YOLOv8改进 | 添加注意力篇 | 利用YOLOv10提出的PSA注意力机制助力YOLOv8有效涨点（附代码 + 详细修改教程）
一、本文介绍 本文给大家带来的改进机制是YOLOv10提出的PSA注意力机制，自注意力在各种视觉任务中得到了广泛应用，因为它具有显著的全局建模能力。然而，自注意力机制表现出较高的计算复杂度和内存占用。为了解决这个问题，鉴于注意力头冗余的普遍存在，我们提出了一种高效的部分自注意力（PSA）模块设计，其能够在不显著增加计算成本的情况下提升YOLO模型的性能！本文附其网络结构图辅助大家理解该结构，同时本文包含...
FFA-Net：用于单图像去雾的特征融合注意力网络
摘要 论文链接：https://arxiv.org/pdf/1911.07559v2 在这篇论文中，我们提出了一种端到端的特征融合注意力网络（FFA-Net）来直接恢复无雾图像。FFA-Net架构由三个关键组件组成： 一种新颖的特征注意力（FA）模块结合了通道注意力与像素注意力机制，考虑到不同通道特征包含完全不同的加权信息，且雾在图像的不同像素上分布不均匀。FA模块对不同的特征和像素进行非等权重处理，...
【Transformer系列（2）】Multi-head self-attention 多头自注意力
一、多头自注意力 多头自注意力机制与自注意力机制的区别在于，Q，K，V向量被分为了num_heads份。 实现流程 （1）根据num_heads参数将单头变成多头，获取多头注意力中的各个头的Q，K，V值 （2）Q叉乘K的转置，再使用softmax，获取attention （3）attention叉乘V，得到输出 二、代码实现 （1）根据num_heads参数将单头变成多头，获取多头注意力中的各个头的Q...
【Transformer系列（3）】cross attention（交叉注意力）
一、cross attention和self-attention的不同 Cross attention和self-attention是在自然语言处理中常用的两种注意力机制。 Self-attention是一种自我关注机制，用于计算输入序列中每个元素与其他元素的关联程度。具体来说，对于给定的输入序列，self-attention机制将每个元素与序列中的所有元素计算关联度，并根据关联度对序列中的每个元素进...
YOLOv8改进 | 检测头篇 | 自研超分辨率检测头HATHead助力超分辨率检测（混合注意力变换器检测头）
一、本文介绍 本文给大家带来的改进机制是由由我本人利用HAT注意力机制（超分辨率注意力机制）结合V8检测头去掉其中的部分内容形成一种全新的超分辨率检测头。混合注意力变换器（HAT）的设计理念是通过融合通道注意力和自注意力机制来提升单图像超分辨率重建的性能。通道注意力关注于识别哪些通道更重要，而自注意力则关注于图像内部各个位置之间的关系。HAT利用这两种注意力机制，有效地整合了全局的像素信息。本文中均有添...
YOLOv9改进策略 ：红外小目标 | 注意力 |多膨胀通道精炼（MDCR）模块，红外小目标暴力涨点| 2024年3月最新成果
💡💡💡本文独家改进：多膨胀通道精炼（MDCR）模块，解决目标的大小微小以及红外图像中通常具有复杂的背景的问题点,2024年3月最新成果 💡💡💡红外小目标实现暴力涨点，只有几个像素的小目标识别率大幅度提升 💡💡💡多个私有数据集涨点明显，如缺陷检测NEU-DET、农业病害检测等； 改进1结构图如下： 改进2结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： 【原创自研模块】【...
使用注意力机制的 LSTM 彻底改变时间序列预测
目录 一、说明二、LSTM 和注意力机制简介三、为什么要将 LSTM 与时间序列注意力相结合？四、模型架构训练与评估 五、验证六、计算指标七、结论 一、说明 在时间序列预测领域，对更准确、更高效的模型的追求始终存在。深度学习的应用为该领域的重大进步铺平了道路，其中，长短期记忆 （LSTM） 网络与注意力机制的集成尤其具有革命性。本文深入探讨了一个实际案例研究：使用这种复杂的架构预测 Apple ...
改进YOLO系列 | EfficientViT：用于高分辨率密集预测的多尺度线性注意力 | ICCV 2023
成为可能，例如计算摄影、自动驾驶等。然而，庞大的计算成本使得在硬件设备上部署最先进的高分辨率密集预测模型变得困难。本文介绍了EfficientViT，一种新的高分辨率视觉模型系列，具有新颖的多尺度线性注意力。与依赖于重型 softmax 注意力、硬件效率低下的大核卷积或复杂的拓扑结构以获得良好性能的先前高分辨率密集预测模型不同，我们的多尺度线性注意力仅通过轻量级和硬件高效的操作实现了全局感受野和多尺度学...