SRCNN学习(一):demo_SR.m

一、demo_SR.m 使用方法

1、Place the "SRCNN" folder into "($Caffe_Dir)/examples

2、Open MATLAB and direct to ($Caffe_Dir)/example/SRCNN, run "demo_SR.m"


二、demo_SR.m 运行结果

根据 demo.m 的代码,显示结果为双三次插值后的图片和 SRCNN 重建后的图片,同时输出双三次插值的峰值信噪比以及 SRCNN 重建的峰值信噪比。

  • 原图:

    SRCNN(一)-LMLPHP

  • 双三次插值 vs SRCNN重建:

    SRCNN(一)-LMLPHP


三、demo_SR.m 代码分析

  • 根据邹老师的提示:进行单步跟踪,看代码同时要边调试边看效果

  • 我选择 Matlab 中的运行节对代码进行查看

  • 读取真实图像

close all;
clear all 清空工作区 %% read ground truth image
im = imread('Set5\butterfly_GT.bmp');

SRCNN(一)-LMLPHP

此时读入名为 butterbly_GT 的图片,工作区显示图片的值

  • 设定参数

%% set parameters
up_scale = 3;
model = 'model\9-5-5(ImageNet)\x3.mat';

SRCNN(一)-LMLPHP

这段代码实现参数设置的功能。

其中up_scale为这段代码设定的放大倍率,当 up_scale = 3 时,选择模型为 x3.mat

  • 仅在照度方面

%% work on illuminance only
if size(im,3)>1
im = rgb2ycbcr(im);
im = im(:, :, 1);
end
im_gnd = modcrop(im, up_scale);
im_gnd = single(im_gnd)/255;

SRCNN(一)-LMLPHP

size(im,3) 返回第三维度的长度,由前面可知 im 的值为 256x256x3 uint8,所以返回值应大于1会进入循环。

rgb2ycbcr(im) 将彩色RGB图像转换为 YCbCr 颜色空间中的等效图像, im(:,:,1) 将 im 的第三维度长修改为1。

modcrop(im,up_scale) 该函数在 modcrop.m 文件中有对应的定义:

function imgs = modcrop(imgs, modulo)      modcrop函数
if size(imgs,3)==1
sz = size(imgs);
sz = sz - mod(sz, modulo);
imgs = imgs(1:sz(1), 1:sz(2));
else
tmpsz = size(imgs);
sz = tmpsz(1:2);
sz = sz - mod(sz, modulo);
imgs = imgs(1:sz(1), 1:sz(2),:);
end

该函数将图片裁剪为能够调整的大小(与放大率匹配)

  • 双三次插值

%% bicubic interpolation
im_l = imresize(im_gnd, 1/up_scale, 'bicubic'); %缩小三倍
im_b = imresize(im_l, up_scale, 'bicubic'); %放大三倍

SRCNN(一)-LMLPHP

imresize() 函数用于调整图像大小,在这里的用法传入三个参数,第一为图片,第二为函数将 图像的长宽大小缩放的倍数,第三为缩放的方法,这里使用的 bicubic 即双三次插值的方法。使用双三次插值的方法产生的图片输出像素值是最近 4×4 邻点中的像素的加权平均值。

至此,梳理各个参数所代表的值

  • im_l :im_gnd 进行双三次插值缩小后的图像

  • im_b : im_gnd 进行双三次插值缩小后,再进行同比例放大的图像

  • SRCNN

%%  SRCNN
im_h = SRCNN(model, im_b);

SRCNN(一)-LMLPHP

此过程根据 SRCNN 对 im_b 进行训练,产生 im_h 图像

  • 删除边框

%%  remove border
im_h = shave(uint8(im_h * 255), [up_scale, up_scale]);
im_gnd = shave(uint8(im_gnd * 255), [up_scale, up_scale]);
im_b = shave(uint8(im_b * 255), [up_scale, up_scale]);

SRCNN(一)-LMLPHP

shave() 函数在文件 shave.m 中有定义:

function I = shave(I, border)
I = I(1+border(1):end-border(1),...
1+border(2):end-border(2), :, :,);
  • 计算 PSNR

%%  compute PSNR
psnr_bic = compute_psnr(im_gnd,im_b);
psnr_srcnn = compute_psnr(im_gnd,im_h);

SRCNN(一)-LMLPHP

compute_psnr() 函数在文件 compute_psnr.m 中有定义

function psnr=compute_psnr(im1,im2)
if size(im1, 3) == 3,
im1 = rgb2ycbcr(im1);
im1 = im1(:, :, 1);
end if size(im2, 3) == 3,
im2 = rgb2ycbcr(im2);
im2 = im2(:, :, 1);
end imdff = double(im1) - double(im2);
imdff = imdff(:); rmse = sqrt(mean(imdff.^2));
psnr = 20*log10(255/rmse);

在论文中提到 PSNR 是一种用于定量评估图像恢复质量的广泛使用的度量,并且与感知质量部分相关,2个图像之间 PSNR 值越大,则越相似。普遍基准为 30dB ,30dB 以下的图像劣化较为明显。PSNR 定义为:

PSNR = 10log10(MAX^2/MSE)

这里 MAX 表示图像颜色的最大数值,8bit 图像取值为255。MSE(均方差),即 m×n 单色图像 I 和 K(原图像与处理图像)之间均方误差。

compute_psnr() 就是对生成的图像与原图对比,形成信噪比的直观查看方式。

  • 显示结果

%%  show results
fprintf('双三次插值的峰值信噪比: %f dB\n', psnr_bic);
fprintf('SRCNN 重建的峰值信噪比: %f dB\n', psnr_srcnn); figure, imshow(im_b); title('双三次插值');
figure, imshow(im_h); title('SRCNN 重建'); imwrite(im_b, ['双三次插值' '.bmp']);
imwrite(im_h, ['SRCNN 重建' '.bmp']);

输出两张图片,以及两次比较的信噪比。


四、实践

由于通过论文给的函数只会输出灰度的图像,我在网上查看他人的代码时发现输出具有颜色的图像的方式。

下面时我根据他的代码进行修改后输出的结果

close all;
clear all; %% read ground truth image 读取真实图像
im = imread('Set5\butterfly_GT.bmp'); %% set parameters 设定参数
up_scale = 3;
model = 'model\9-5-5(ImageNet)\x3.mat'; %% work on illuminance only 仅在照度方面
if size(im,3)>1
im = rgb2ycbcr(im);
im_U = im(:, :, 1);
end
im_gnd = modcrop(im_U, up_scale);
im_gnd = single(im_gnd)/255;
im_gnd2 = modcrop(im, up_scale);
im_gnd2 = single(im_gnd2)/255;
im_2 = im_gnd2(:, :, 2);
im_3 = im_gnd2(:, :, 3); %% bicubic interpolation 双三次插值
im_l = imresize(im_gnd, 1/up_scale, 'bicubic');
im_b = imresize(im_l, up_scale, 'bicubic'); %% SRCNN
im_h = SRCNN(model, im_b); %% 三通道合回
[m,n] = size(im_h);
im_h1 = zeros(m,n,3);
im_h1(:, :, 1) = im_h;
im_h1(:, :, 2) = im_2;
im_h1(:, :, 3) = im_3;
im_h1 = uint8(im_h1 * 255);%转回uint8
im_h1 = ycbcr2rgb(im_h1);%转回rgb %% remove border 删除边框
im_h1 = shave(im_h1, [up_scale, up_scale]); %% show results 显示结果
figure, imshow(im_h1);
title('SRCNN 重建');

SRCNN(一)-LMLPHP


五、结语

这周的学习主要是对 SRCNN 的整个流程进行了重新认识,明白了各个步骤的主要任务,了解到论文中 SRCNN 其实是对图片的 Y 通道提取后,进行重建,最后通过输出 PSNR 和图片的方式,来对重建的程度进行分析。

下周将对 SRCNN.m 文件进行学习,并在学习卷积、步长等概念后对 SRCNN 的三个卷积过程有更深刻的理解。

参考博客:超分辨率重建SRCNN--Matlab 7.0中运行

05-17 00:21