前言

这部分主要讲如何修改Faster R-CNN的代码,来训练自己的数据集,首先确保你已经编译安装了py-faster-rcnn,并且准备好了数据集,具体可参考我上一篇文章

py-faster-rcnn文件结构

  • caffe-fast-rcnn
    这里是caffe框架目录,用来进行caffe编译安装
  • data
    用来存放pre trained模型,比如ImageNet上的,要训练的数据集以及读取文件的cache缓存。
  • experiments
    存放配置文件,运行的log文件,另外这个目录下有scripts 用来获取imagenet的模型,以及作者训练好的fast rcnn模型,以及相应的pascal-voc数据集
  • lib
    用来存放一些python接口文件,如其下的datasets主要负责数据库读取,config负责cnn一些训练的配置选项
  • matlab
    放置matlab与python的接口,用matlab来调用实现detection
  • models
    里面存放了三个模型文件,小型网络的ZF,大型网络VGG16,中型网络VGG_CNN_M_1024
  • output
    这里存放的是训练完成后的输出目录,默认会在default文件夹下
  • tools
    里面存放的是训练和测试的Python文件

修改训练代码

所要操作文件结构介绍

所有需要修改的训练代码都放到了py-faster-rcnn/lib文件夹下,我们进入文件夹,里面主要用到的文件夹有:

  • datasets:该目录下主要存放读写数据接口。
  • fast-rcnn:该目录下主要存放的是python的训练和测试脚本,以及训练的配置文件。
  • roi_data_layer:该目录下主要存放一些ROI处理操作文件。
  • utils:该目录下主要存放一些通用操作比如非极大值nms,以及计算bounding box的重叠率等常用功能。

读写数据接口都放在datasets/文件夹下,我们进入文件夹,里面主要文件有:

  • factory.py:这是个工厂类,用类生成imdb类并且返回数据库共网络训练和测试使用。
  • imdb.py:这是数据库读写类的基类,分装了许多db的操作,但是具体的一些文件读写需要继承继续读写
  • pascal_voc.py:这是imdb的子类,里面定义许多函数用来进行所有的数据读写操作。

从上面可以看出,我们主要对pascal_voc.py文件进行修改。

pascal_voc.py文件代码分析

我们主要是基于pasca_voc.py这个文件进行修改,里面有几个重要的函数需要介绍:

修改pascal_voc.py文件

要想对自己的数据集进行读取,我们主要是进行pascal_voc.py文件的修改,但是为了不破坏源文件,我们可以将pascal_voc.py进行拷贝复制,从而进行修改。这里我将pascal_voc.py文件拷贝成caltech.py文件:

下面我们对caltech.py文件进行修改,在这里我会一一列举每个我修改过的函数。这里按照文件中的顺序排列。。

init函数修改

这里是原始的pascal_voc的init函数,在这里,由于我们自己的数据集往往比voc的数据集要更简单的一些,在作者额代码里面用了很多的路径拼接,我们不用去迎合他的格式,将这些操作简单化即可。

原始的函数
修改后的函数

_load_image_set_index函数修改

原始的函数
修改后的函数

其实没改,只是加了一行注释,从而更好理解路径问题。

_get_default_path函数修改

直接注释即可

_load_pascal_annotation函数修改

原始的函数
修改后的函数

main函数修改

原始的函数

修改后的函数

至此读取接口修改完毕,该文件中的其他函数并未修改。

修改factory.py文件

当网络训练时会调用factory里面的get方法获得相应的imdb,首先在文件头import 把pascal_voc改成caltech

在这个文件作者生成了多个数据库的路径,我们自己数据库只要给定根路径即可,修改主要有以下4个

  • 函数之后有两个多级的for循环,也将其注释
  • 直接定义devkit
  • 利用创建自己的训练和测试的imdb set,这里的name的格式为caltech_{}

原始的代码

修改后的文件

修改init.py文件

在行首添加上 from .caltech import caltech

总结

  • 坐标的顺序我再说一次,要左上右下,并且x1必须要小于x2,这个是基本,反了会在坐标水平变换的时候会出错,坐标从0开始,如果已经是0,则不需要再-1。
  • 训练图像的大小不要太大,否则生成的OP也会太多,速度太慢,图像样本大小最好调整到500,600左右,然后再提取OP
  • 如果读取并生成pkl文件之后,实际数据内容或者顺序还有问题,记得要把data/cache/下面的pkl文件给删掉。

参考博客

  1. Fast RCNN训练自己的数据集 (2修改读写接口)
  2. Faster R-CNN教程

原文:大专栏  深度学习实践经验:用Faster R-CNN训练Caltech数据集——修改读写接口


01-19 19:27
查看更多