主题列表：juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable
贡献主题：https://github.com/xitu/juejin-markdown-themes
theme: juejin
highlight:
0 轮廓检测
轮廓检测，对我这样的初学者而言，与语义分割类似。分割任务是什么我就不再赘述了，轮廓检测则是完成这样的一个任务：
了解传统图像处理或者opencv的朋友应该都不难看出（想到），“Canny”轮廓提取算子，这个算子简单的说就是对图像的像素值的变化（梯度）进行检测，然后梯度变化大的地方认定为轮廓（上图就是用Canny算子提取的效果）。当然，最近也是用深度学习的方法来做这种轮廓提取，本问介绍的HED就是这样的一个深度学习提取边框的办法，下图是HED提取小狗轮廓的结果图。
1 论文概述
- 相关论文：《Holistically-Nested Edge Detection》
- 论文链接：https://arxiv.org/abs/1504.06375
- 论文年份：2015
今天解读一篇论文，网上已经有一些的解读了，不过讲解的并不细致，让我难以理解，直到看了官方代码才理理顺，所以这篇文章部分搬运，再加上个人补充。
整体来说，这个HED边缘检测模型，与Unet分割模型类似，再加上年份较老，所以复现价值不大，大家当扩展知识看看就得了。
Unet我们直接已经讲解过了，用简单的文字来简单的回顾一下：字母U的左半边，是不断卷积池化层进行特征抽取，然后得到不同尺度的特征图，然后U的右半边，通过转置卷积进行上采样，然后与下采样过程中的同尺度拼接做特征融合，然后最终模型输出一个与输入图像相同大小的预测结果。
HED，Holistically-Nested Edge Detection这个模型，其中的亮点在我看来，是对Deep supervision的一种应用。Deep supervision这个概念相比读者应该不陌生，在上上上一篇文章《Unet++》那个文章中我已经提到了，简单的说就是一个模型有多个输出的结构。
2 HED结构
来看下论文中给出的HED的结构图：
这个图可能比较抽象，我来大概讲解一下：
- 可以看到的是整个过程只有一个卷积+池化的过程，Unet还有上采样的过程，这是不同点；
- 图中的有5个马的图片，从大到小，从浅到深，纹理越来越少，这分别是经过了maxpool和卷积得到的不同尺寸的输出。从图中可以看到，这些输出叫做side-output 1到side-output 5。
- 图中这五个特征图经过虚线，得到了一个Y，这个Y是经过“weighted-fusion”得到了，简单的说就是，五个图经过一个可以训练的权重参数，融合成了最终的输出
结构不难理解，但是到这里读者肯定心中仍有疑惑，看完下面的损失函数的构成就通透了。
3 损失函数
这个损失函数算是deep supervision比较常见的损失函数了，就是每一个side-output输出都是损失函数的一部分。
整体来说，这个损失函数是有两个部分：
- side-output：这个就是上图中五个不同尺度的预测结果，通过上采样成原图大小，然后和mask做交叉熵。因为有5个图，所以损失是五个的和；
- fusion：五个图fusion出得Y，这个Y与ground truth的交叉熵；
所以论文中有这样的损失函数：
我也没注意W，w，h的含义，但是看起来确实是side和fusion两部分损失函数。
这里的Dist其实使用的就是交叉熵
这个side中，除去这个\(\beta\)不管，剩下的内容就是二值交叉熵，也许和你常见的那种形式不太一样，但是是一样的。给个提示：看这里的\(\Sigma\)的下标
现在我们对损失函数应该有了一个大致的感觉了，但是仍然有两个疑问：
- \(loss_{side}\)中的\(\beta\)是什么？怎么算？
- \(loss_{fuse}\)中的\(\hat{Y}_{fuse}\)怎么得到，换言之，如何融合5个side-output？
对于第一个问题，\(\beta\)是一个平衡系数，
其中\(|Y|\)表示图像的像素的数量，也就是widthxheight；\(|Y^-|\)表示这个图片中，ground truth的像素的数量，类似与解决预测像素不平衡的一个手段。
假设一张图片中ground truth的像素量少，那么意味着，\(\beta\)的值小，那么公式（2）中的第一项的权重轻，而第一项的sigma的下标是\(Y^+\),说明这个是计算非目标，也就是groud truth=0的损失，也就是背景的损失，数量很多，所以权重轻损失少。 这一点实在不好讲明白，希望大家没理解的多读两遍。
对于第二个问题，论文中给出了公式：
这个h应该是一个可以训练的参数，然后加和之后用sigma归一化。
4 损失函数 TF
现在万事俱备，官方提供了代码，来看一下这个损失函数的TF版本：
def class_balance_sigmoid_cross_entropy(logits,label,name='cross_entropy_loss'):
y = tf.cast(label,tf.float32)
count_neg = tf.reduce_sum(1.-y)
count_pos = tf.reduce_sum(y)
beta = count_neg/(count_neg+count_pos)
pos_weight = beta/(1-beta)
cost = tf.nn.weighted_cross_entropy_with_logits(logits,y,pos_weight)
cost = tf.reduce_mean(cost*(1-beta),name=name)
return cost
cost = class_balanced_sigmoid_cross_entropy(dsn_fuse, annotation_tensor) + \
class_balanced_sigmoid_cross_entropy(dsn1, annotation_tensor) + \
class_balanced_sigmoid_cross_entropy(dsn2, annotation_tensor) + \
class_balanced_sigmoid_cross_entropy(dsn3, annotation_tensor) + \
class_balanced_sigmoid_cross_entropy(dsn4, annotation_tensor) + \
class_balanced_sigmoid_cross_entropy(dsn5, annotation_tensor)
可能有的朋友看不懂TF的写法，不过大概能看懂把，细节不懂但是英文单词总是没问题的，整体来看，跟我们上面讲解的差不多把。
5 总结
这里谈一谈我看了这个2015年的老前辈模型的收获把：
- HED是一个边缘检测模型，但是使用的和Unet的框架有些类似。HED使用了deep supervision的方法，而Unet并没有，这里我突然想到Unet++ 的结构，Unet++的思想完全可以沿着Unet+HED这条线路诞生。
- 我们学到了一个deep supervision的损失函数的写法；
- 我们学到了一个单词Holistically-nested。holistically 整体地，nest 嵌套。
参考文章：