U-Net 模型改进和应用场景研究性综述

U-Net综述

• • 1 文章介绍
  • 2 U-Net介绍
  • 3 结构改进
  • 4 非结构改进
  • 5 U-Net应用场景
  • 6 总结

1 文章介绍

2 U-Net介绍

参考之前的一篇文章：U-Net代码练习

3 结构改进

结构性改进就三种情况，编码器解码器改进，跳连接改进，以及模型整体结构改进；大 部 分 改 进 工 作是在原有模块的基础上，增加残差模块、Dense 模 块 、Inception 模 块 、Attention 模 块 等 经 典 网 络 模 块 ， 或 综 合 运 用 其 中 的 几 种 模 块 ，以 提 高 网 络 的 分 割 性 能。

2018年的一篇MDU-Net: Multi-scale Densely Connected U-Net for biomedical image segmentation，就是添加了Dense和Inceptioon模块，然后不同层之间进行特征连接，增加网络的学习能力，结构图如下：

2018年的另外一篇文章，Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation，与原 始 U-Net 相比，这种网络分别在编/解码器阶段用循环卷积层（RCLs）和带有残差单元的循环卷积层（RCLs）代替原有的正向卷积层，使得网络在不增加参数量的同时具有优于U-Net和ResU-Net 的分割性能，网络结构图如下：

2019年一篇顶会文章，Prostate Segmentation using 2D Bridged U-net，文章中是串联了U-Net，每个跳连接之间在通过其他方式连接起来，比较适合病灶分割，结合我之前看过的一篇文章，也是串联U-Net，主要用来进行视网膜血管分割，可以对比学习一下，文章链接：Iter-Net——迭代式U-Net变型

再来一篇2018年的顶刊文章M-Net，发表在TMI上的文章，主要思想，将输入图片缩放成不同的大小传入U-Net的每一层，同时也将U-Net每一层的输出都拿出来进行损失计算，反向传播，这样可以的大大增加拟合强度，我第一次接触这种每一层都输出结果进行计算的思想，是在 U 2 − N e t U^2-Net U2−Net中，文章讲解：套娃式U-Net网络结构；M-Net网络结构如下：

那针对U-Net的结构型改进总结如下：

4 非结构改进

4.1 预处理——数据增强

数据增强的目的是有意地从原始训练数据中生成更多的训练数据来提高网络性 能 ，常见的数据增 强方法有镜像对称、旋转 、翻转 、随机裁剪等；最最重要的，也是我新学到的：Image Patch操作，在血管分割中，将大图片裁剪成多个小图片，这样能大大增加图片数量！！
数 据 增 强 的 方 法 有 很 多 ，但 具 体 选 择 哪 些 数 据 增 强 方 法 往 往 不 是 固 定 的 ，何 种 数 据 增 强 技 术 是 最 佳 的 也 很 难 衡 量 。 在 实 际 应 用 中 ，要 根 据 训 练 数 据 集 的 特 点 进 行 合 理 选 择 ，使 网 络 具 有 最 佳 的 泛 化 能 力 和 鲁 棒 性 ，进 而 有 助 于 网 络 性 能 的 提升；

4.2 训练——数据归一化

常见的是BN，BN 层可使网络中的数据分布得更 均 匀 ，从而可以缓解梯度弥散，加快训练速度，但BN算法容易受到batch size的影响，因此出现了样 本 归 一 化（IN），即 只 对 每 个 样 本 进 行 类 似 BN 的 标准化处理，使其不受通道和 batch size 的影响；组 归 一 化（GN）将 通 道 划 分 为 组 ，在 组 内 计 算 数 据 的 均 值 和 方 差 ，进 而 实 现 对 图 像 的 归 一 化 处 理，之后还有集大成者，谷歌在 2019 年提出了新的归 一 化 层 ——FRN（filter response normalization），它 既 能 解 决 mini batch 问 题 ，又 能 在 batch 较 大 时 具 有 比 使 用 BN 更 好 的 性 能，5种归一化方法介绍：BN、GN、LN、IN、SN 、FRN

4.3 训练——激活函数

激活函数可使输入输出之间生成 非 线 性 映 射 ，从 而 使 得 网 络 能 够 学 习 更 为 复 杂 的 内 容 。 U-Net 网 络 及 大 部 分 的 改 进 网 络 均 使 用 ReLU 函 数 进 行 激 活 ，能 够 有 效 避 免 和 纠 正 梯 度 消 失 问 题；但是其也存在着梯度消失问题；因此人们剔除LeakReLU，ELU，mish等激活函数，常见激活函数如下：Pytorch 非线性激活函数

4.4 训练——损失函数

损失函数是神经网络寻找最优权重参数的指标。常用的损失函数有BCELoss，BCE，DIceLoss， IoULoss等，同时组合使用损失函数也是当前发论文的一种方向，但是想要取得成果，其实还是很难的，毕竟你不仅要有效果，还有指出为何有效果；不同的损失函数优化目标不同，有时候选择不同的损失函数，都会导致训练不收敛，因此损失函数寻找和组合需要谨慎和细心，Pytorch现有损失函数如下：Pytorch Loss

4.5 结构改进总结

针对 U-Net 网络在结构改进和非结构改进方面取得的成效，按照改进的目的对改进措施和代表性网络进行了归纳总结，结果如下：

5 U-Net应用场景

根 据 不 同 的 疾 病 图 像 特 点 ，我 们 采 取 适 当 的 措 施 对 U-Net 模 型 加 以 改 进 ，并 将 其 应 用 于 不 同 医 学 图 像 的 分 割 中 ，会 取 得 不 错 的 效 果 。 下 面 将 对 U-Net 及 其 改 进 后 的 网 络 在 视 网 膜 血 管 分 割 、肺 结 节 分 割 、肝 脏 和 肝 脏 肿 瘤 分 割 、脑 肿 瘤 分 割 四 种 不 同 医 学 图 像 分 割 中 的 应 用 研究进行总结：

5.1 视网膜血管分割

二 维 彩 色 眼 底 图 和 三 维 光 学 相 干 断 层 扫 描 （OCT）图 像 是 眼 科 疾 病 最 常 见 的 诊 断 依 据；
其本身存在的困难点为 结 构 极 其 复 杂 ，具 有 很 高 的 弯 曲 度 ，且 形 态 各 异 ，同 时 视 网 膜 血 管 细 小 ，分 叉 和 交 叉 区 域 较 多，分割精度要求较为严格；文章中举例了DUNet: A deformable network for retinal vessel segmentation，在三个公开数据集DRIVE、STARE 和 CHASE上的分割效果很好，优于传统的U-Net，针对血管分割，需要提升网络学习细小血管的能力，因此需要更多的信息采集模块，文章后面提到的添加Inception模块，也是相同的思想；同时，我之前看过的一篇文章Iter-Net：Iter-Net——迭代式U-Net变型，也是通过串行U-Net提升网络分割精度的；

5.2 肺结节分割

通 过 观 察 CT 图 像 中 肺 结 节 的 纹 理 特 征 ，可 以 较 为 清 晰 地 判 断 病 人 是 否 有 肺 癌 隐 患 ，并 量 化 分 析 肺 癌 的 恶 性 程 度 ， 从 而 高 效 地 辅 助 医 生 进 行 诊 断；
其 存 在 的 分 割 难 点 在 于：肺 结 节 体 积微小，与肺实质中的血管等组织相似，且在 CT 图 像 中 存 在 边 缘 模 糊 、对 比 度 低 、灰 度 不 均 匀 等 问 题 ， 容 易 受 到 噪 声 和 伪 影 的 影 响 ，从 而 在 一 定 程 度 上 对 医 生 的 诊 断 造 成 了 干 扰；
文章中举例了Dense U-Net，Res U-Net，也有添加了Inception的U-Net，分割效果都不断的优化，同时最令我注意的是，其实很多分割存在着两个阶段，第一阶段是粗分割，分割出大致区域或者是个数，第二阶段，精细分割，确定分割范围，这个我没接触过，以后可以试一试；
同时文章中主要列举了分割的改进方法：

1. 通 过 引 入 条 件 随 机 场 能 够 关 联 不 同 像 素 之 间 的 关 系 ，对 边 缘 模 糊 的 情 况 有 较 好 的 改 善 作 用 ；
2. 通 过 引 入 密 集 连 接 或 构 建 子 网 络 模 块 ，促 进 多 尺 度 特 征 的 提 取 ，有 助 于 网 络 对 不 同 尺 寸 肺 结 节 的 分 割 ，特 别 是 小 结 节 区 域 或 血 管 粘 连 部 位 ，但 这 会 在 一 定 程 度 上 增 加 网 络 的 计 算 成 本 ；
3. 引 入 空 间 注 意 力 模 块 和 通 道 注 意 力 模 块 有 助于增强特征提取的有效性以及网络对不同尺度 特 征 的提取能力；
4. 增 加 深 度 监 督 机 制 能 够 进 一 步 优 化 网 络 的 分 割 性 能 ，在 一 定 程 度 上 减 少 假 阳 性 的 发生。

5.3 肝脏和肝脏肿瘤分割

实现肝脏精准分割有助于肝段切除和肝移植 体积测量。因此这一块主要说的是3D领域的分割；
其分割难点在于：肝脏和肝脏肿瘤在形状和大小上 都 是 不 规 则 的 ，它 们 可 能 与 周 围 的 器 官 比 较 相 似； 由 于 仪 器 设 备 参 数 不 同 ，CT 图 像 间 的 灰 度 值 也 存 在 差 异 ，进 而 肝 脏 所 显 示 的 位 置 也 不 同 。
从文中介绍的三个网络来看，增 加 三 维 条 件 随 机 场 的 3D UNet-C2 能 够 有 效 减 少 假 阳 性 ，剔 除 非 肝 脏 区 域 ，同 时 优 化 肝 脏 边 缘 的 分 割 效 果 。 BSU-Net 能 够 更 好 地 控 制 形 状 变 形 、减 少 假 阳 性 和 假 阴 性 ，从 而 验 证 了 使 用 密 集 连 接 模 块 及扩展编码路径的有效性。LV-Net 通过使用深度 监督机制使网络在减少参数量的同时仍然具有较 好的分割表现。

5.4 脑肿瘤分割

MRI 是 一 种 典 型 的 非 侵 入 式 成 像 技 术 ，能 够 生 成 高 质 量 的 无 损 伤 和 无 颅 骨 伪 影 的 脑 影 像 ，是 进 行 脑 肿 瘤 诊 疗 的 主 要 技 术 手 段。
脑 肿 瘤 区 域 的 分 割 难 度 相 比 其 他 种 类 图 像 的 分 割 难 度 更 大 ，不 同 的 肿 瘤 区 域 又 存 在 不 同 的 分 割 难 点 。 比 如 ：

1. 完 整 肿 瘤 区 域（WT）易 将 背 景 部 分 分 割 进 来 ，造 成 过 分 割 ；
2. 肿 瘤 核 心 区 域（TC）易 与 其 他 区 域 产 生 粘 连 ；
3. 增 强 肿 瘤 区 域（ET）多 存 在 点 状 、 不 连 续 的 细 小 肿 瘤 ，分 割 难 度 更 大 。

公开数据集是：BRATS，文章中提到了3D-HDC-UNet网络结构，其中通过Dice 损失和 Focal 损失的混合损失函数替换原来单一的 Dice 损 失 函 数 ，加 强 了 稀 疏 类 对 损 失 函 数 的 贡 献 ，提 高 了 肿瘤核心区域的分割精度；
从文章分析结果来看：

1. 通过引 入 密 集 连 接 和 残 差 连 接 能 够 有 效 改 善 该 问 题 ，不 仅 能 更 加 细 致 地 分 割 出 肿 瘤 核 心 区 域 ，避 免 与 其 他 区 域 粘 连 ，同 时 对 分 割 难 度 最 大 的 增 强 肿 瘤 区 域也能够很好地进行分割；
2. 包含刚性或仿射的变 形以及包括亮度和弹性变形的数据增强方法对全 部完整肿瘤和肿瘤核心区域分割的改善作用明 显 ，但 对 增 强 肿 瘤 区 域 分 割 的 改 善 效 果 不 明 显 ；
3. 混合膨胀卷积的使用有助于对大区域的分 割 ，混 合 了 Dice 损 失 和 Focal 损 失 的 损 失 函 数 有 利 于 对 小 区 域 目 标 的 识 别 ，同 时 对 分 割 难 度 较 大 的 肿瘤核心和增强肿瘤区域的识别也更加准确。

5.5 不同应用场景总结

不 同 类 型 的 疾 病 在 进 行 诊 断 时 所 使 用 的 图 像 略 有 不 同 ，比 如 视 网 膜 区 域 的 疾 病 往 往 通 过 眼 底 彩 色 图 像 进 行 诊 断 ，肺 结 节 和 肝 脏 肿 瘤 常 通 过 CT 图 像 进 行 诊 断 ，而 脑 肿 瘤 一般通过磁共振图像进行诊断。各部位的图像具 有 各 不 相 同 的 特 点 ，因 此 在 进 行 图 像 分 割 时 也 存 在 不 同 的 分 割 难 点 。 针 对 各 种 问 题 ，研 究 人 员 采 取 了 相 应 的 改 进 措 施 ，有 效 地 提 高 了 分 割 精 度 和 网 络 性 能 。 根 据 上 述 内 容 ，本 文 对 U-Net 及 其 改 进 网 络 在 各 类 疾 病 图 像 分 割 中 的 相 关 应 用 进 行 了 总 结 ，具 体如下：

6 总结

通 过 研 究 大 量 相 关 改 进 工 作 可 以 看 出 ，U-Net 模 型 的 改 进 ，网 络 结 构 改 进 中 ，残 差 模 块、Dense 模块、Inception 模块和 Attention 模块是最 常 见 的 引 入 模 块 ，这 些 模 块 能 够 使 网 络 有 效 提 取 特 征 ，充 分 利 用 上 下 文 信 息 ，从 而 提 高 分 割 精 度 ；对 于 引 入 的 卷 积 来 说 ，扩 张 卷 积 和 可 变 形 卷 积 最 为 常 见 ，它 们 能 够 调 整 感 受 野 的 大 小 ，减 少 参 数 量 ，使 网 络 可 以 利 用 不 同 层 次 的 特 征 ，从 而 有 效 避 免 过 拟 合；
非 结 构 改 进 对 网 络 性 能 提 升 的 有 效 性 也 逐 渐 得 到 了 关 注 ，有 些 研 究 者 在 进 行 网 络 结 构 改 进 的 同 时 ，充 分 考 虑 了 数 据 增 强 和 数 据 归 一 化 方 法 的 综 合 运 用 ，并 提 出 了 一 些 新 的 混 合 损 失 函 数 ，有 针 对 性 地 训 练 网 络 ，从 而 提 升 了 网 络 的 性 能；
自己的想法：

1. 是将其真正落地，做成接口嵌入到硬件中；
2. 进行半监督和无监督的网络改进；
3. 将Transformer引入到医学图像分割中；