Deep Joint Rain Detection and Removal from a Single Image[1]
简介：多任务全卷积从单张图片中去除雨迹。本文在现有的模型上，开发了一种多任务深度学习框架，学习了三个方面，包括二元雨条纹映射(binary rain streak map)，雨条纹外观和干净的背景。特别是新添加的二元雨条纹映射，其损失函数可以为神经网络提供额外的强特征。对于雨带积累现象（暴雨形成的如烟如雾的现象），采取循环雨检测和清除，以迭代和渐进方式清除。
动机：恢复暴雨下拍摄的图像，在自动驾驶等领域是重要的研究问题。在暴雨下拍摄的图像包含背景层和将与条纹层，此任务的目标在于输出干净的背景。
雨模型由原来的:
\[
O=B+\tilde{S}
\]
变为：
\[
O=B+SR
\]
其中，\(B\)是背景层，\(\tilde{S}\)为雨迹层，O为原始图片，R是二元值，1表示雨区，0表示无雨区。联合的雨迹检测和移除：
雨迹移除的过程如上图所示，首先使用基于上下文扩展的网络（Contextualized Dilated Networks，论文4.2详述）抽取雨迹特征表示F，基于此，接下来依次预测R,S,B。