fcn+caffe+siftflow实验记录

环境搭建：

vs2013，编译caffe工程，cuda8.0，cudnn5.1，python2.7。

还需要安装python的一些包。Numpy+mkl  scipy  matplotlib  scikit-image  protobuf

Pip install scikit-image的时候，需要注意，下载该模块

Windows版python模块的下载地址：

https://www.lfd.uci.edu/~gohlke/pythonlibs/

跑实验：

下载fcn的caffe源代码：

https://github.com/shelhamer/fcn.berkeleyvision.org

下载siftflow数据集：

http://www.cs.unc.edu/~jtighe/Papers/ECCV10/siftflow/SiftFlowDataset.zip

将下载的数据放在fcn文件夹下的data目录下，将其重新命名为sift-flow并将原data文件夹下的sift-flow中的文件拷贝到其中，删除原来的。

官方预训练好的模型下载链接：

http://dl.caffe.berkeleyvision.org/

网络比较大，预加载模型，用sift-flow中的图片调整参数。

下载caffemodel，在siftflow-fcn32s目录下根据caffemodel-url 下载预训练好的模型。将下载好的模型放在fcn目录下的siftflow-fcn32s文件夹下。 将fcn目录下的score.py siftflow_layer.py和surgery.py 复制到siftflow-fcn32s的文件夹下。

修改solve.prototxt文件

train_net: "trainval.prototxt"

test_net: "test.prototxt"

test_iter: 200

# make test net, but don't invoke it from the solver itself

test_interval: 999999999

display: 20

average_loss: 20

lr_policy: "fixed"

# lr for unnormalized softmax

base_lr: 1e-12

# high momentum

momentum: 0.99

# no gradient accumulation

iter_size: 1

max_iter: 100000

weight_decay: 0.0005

snapshot:10000    #训练10000次，保存一次模型

snapshot_prefix:"G:/caffe171101/caffe-master/fcn-master/siftflow-fcn16s/train"

test_initialization: false

书写启动文件solve.py

import caffe

import surgery, score

import numpy as np

import os

import sys

try:

    import setproctitle

    setproctitle.setproctitle(os.path.basename(os.getcwd()))

except:

    pass

weights = 'siftflow-fcn8s-heavy.caffemodel'

deploy_proto = 'deploy8.prototxt'

# init

caffe.set_device(int(0))

caffe.set_mode_gpu()

solver = caffe.SGDSolver('solver.prototxt')

#solver.net.copy_from(weights)

vgg_net=caffe.Net(deploy_proto,weights,caffe.TRAIN)

surgery.transplant(solver.net,vgg_net)

del vgg_net

# surgeries

interp_layers = [k for k in solver.net.params.keys() if 'up' in k]

surgery.interp(solver.net, interp_layers)

# scoring

test = np.loadtxt('../data/sift-flow/test.txt', dtype=str)

for _ in range(50):

    solver.step(2000)

    # N.B. metrics on the semantic labels are off b.c. of missing classes;

    # score manually from the histogram instead for proper evaluation

    score.seg_tests(solver, False, test, layer='score_sem', gt='sem')

score.seg_tests(solver, False, test, layer='score_geo', gt='geo')

通过transplant的方式加载网络，会同时加载网络，和copy_from方式的区别在于拷贝参数的同时，改造原来的网络。

进入该目录，运行python solve.py，即可跑该网络。

如果，遇到错误，按照提示，修改路径或其他的一些东西。

　　

对单张图片的预测：testSingleImg.py

import numpy as np

from PIL import Image

import matplotlib.pyplot as plt

import sys

sys.path.append('G:/caffe171101/caffe-master/python')

import caffe

import cv2

#matplotlib inline

# load image, switch to BGR, subtract mean, and make dims C x H x W for Caffe

im = Image.open('test_img/coast_arnat59.jpg')

in_ = np.array(im, dtype=np.float32)

in_ = in_[:,:,::-1]

in_ -= np.array((104.00698793,116.66876762,122.67891434))

in_ = in_.transpose((2,0,1))

# load net

net = caffe.Net('siftflow-fcn16s/deploy16.prototxt', 'siftflow-fcn16s/train_iter_100000.caffemodel', caffe.TEST)

# shape for input (data blob is N x C x H x W), set data

net.blobs['data'].reshape(1, *in_.shape)

net.blobs['data'].data[...] = in_

# run net and take argmax for prediction

net.forward()

out = net.blobs['score_sem'].data[0].argmax(axis=0)

#print "hello,python!"

#plt.imshow(out,cmap='gray');

plt.imshow(out)

plt.axis('off')

plt.savefig('test_img/coast_arnat59_infer_16s_100000iters.png')

预测：这是用fcn32s的网络，迭代10万次的结果，并不理想

fcn16s，迭代10w次：

fcn8s，迭代10w次：

Sift-flow中的图片都为256*256*3的彩色图片

images保存的是数据，semanticlabels保存的是语义分割标签，一共33类。geolabels保存场景识别标签，一共4类，除去标签-1，就是3类。
所以是分别训练了两个网络，网络的前七层一样。