首页 > 代码库 > 使用caffe的cifar10网络模型训练自己的图片数据
使用caffe的cifar10网络模型训练自己的图片数据
由于我涉及一个车牌识别系统的项目，计划使用深度学习库caffe对车牌字符进行识别。刚开始接触caffe，打算先将示例中的每个网络模型都拿出来用用，当然这样暴力的使用是不会有好结果的- -||| ，所以这里只是记录一下示例的网络模型使用的步骤，最终测试的准确率就暂且不论了！
一、图片数据库
来源
我使用的图像是在项目的字符分割模块中分割出来的字符图像，灰度化并归一化至32*64，字符图片样本示例如下：
建立自己的数据文件夹
在./caffe/data/目录下建立自己的数据文件夹mine,并且在mine文件夹下建立train文件夹和test文件夹（由于只是为了熟悉cifar10网络模型，为减少训练时长，所以只选取了A,B,C三个字符样本进行训练和测试）。train文件夹用于存放训练样本，test文件夹用于存放测试样本。
然后，将你处理好的训练样本图片放在./caffe/data/mine/train/这个文件夹下面，测试样本放在./caffe/data/mine/test/这个文件夹下面。
train:
test:
编写train.txt和test.txt文本
（1）--train.txt ：存放训练图片的路径名（相对于./caffe/data/mine/train/）和类别标签，一行一张图片，如下所示：
（2）--test.txt :存放测试样本的路径名（相对于./caffe/data/mine/test/）和类别标签，一行代表一张图片，如下图所示：
二、将图片数据转换为LEVELDB格式的数据
在原caffe工程中将caffe.cpp从工程中移除，将tools文件夹中的convert_imageset.cpp添加到工程中，编译后在./caffe/bin/下生成.exe，将其改名为convert_imageset.exe。
然后，在根目录下（我的是F:\caffe\）写一个批处理bat文件，命名为converttrain2ldb.bat，旨在将训练集中的数据格式转换为leveldb格式：
运行后，在data/mine/下生成mtrainldb文件夹，文件夹的内容如下所示：
当你生成的.ldb文件的大小为0KB或很小很小，那应该就是你的bat文件出错了。
同理将测试集转换为leveldb文件：
三、计算图像的均值
在原caffe工程中将caffe.cpp从工程中移除，将tools文件夹中的compute_image_mean.cpp添加到工程中，编译后在./caffe/bin/下生成.exe，将其改名为compute_image_mean.cpp.exe。
在根目录下写一个批处理bat文件，命名为computeMean.bat，旨在计算图像的均值，生成均值文件：
运行后，在data/mine/下生成均值文件。如下所示：
四、创建网络模型，编写配置文件，编写训练脚本，验证测试集
创建网络模型
在./data/mine下建立文件夹train-val，将./examples/cifar10/文件夹下的cifar10_quick_train_test.prototxt网络模型配置文件copy至该文件夹下面，如下所示：
并且进行如下的修改：
name: "CIFAR10_quick"layer { name: "cifar" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { //【第1块修改的地方】下面是均值文件所在的路径,改为你自己的均值文件所在的路径 mean_file: "data/mine/train_mean.binaryproto" } data_param { //【第2块修改的地方】下面改为训练样本生成的数据库所在的目录[注意:是训练样本数据库] source: "data/mine/mtrainldb" batch_size: 50 //【第3块修改的地方】由于我们的训练样本不多,所以我们一次读入50张图片就好 backend: LEVELDB }}layer { name: "cifar" type: "Data" top: "data" top: "label" include { phase: TEST } transform_param { //【第4块修改的地方】下面是均值文件所在的路径,改为你自己的均值文件所在的路径 mean_file: "data/mine/train_mean.binaryproto" } data_param { //【第5块修改的地方】下面改为测试样本生成的数据库所在的目录[注意:是测试样本数据库] source: "data/mine/mtestldb" batch_size: 50//【第6块修改的地方】由于我们的测试样本只有150张,所以我们一次读入50张图片就好 backend: LEVELDB }}layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 } param { lr_mult: 2 } 中间的省略......layer { name: "ip2" type: "InnerProduct" bottom: "ip1" top: "ip2" param { lr_mult: 1 } param { lr_mult: 2 } inner_product_param { num_output: 3 //【第7块修改的地方】我们现在是3分类问题,所以将第二个全连接层改为3 weight_filler { type: "gaussian" std: 0.1 } bias_filler { type: "constant" } }}layer { name: "accuracy" type: "Accuracy" bottom: "ip2" bottom: "label" top: "accuracy" include { phase: TEST }}layer { name: "loss" type: "SoftmaxWithLoss" bottom: "ip2" bottom: "label" top: "loss"}
编写超参数配置文件
同样的，将cifar10_quick_solver.prototxt超参数配置文件copy至./data/mine/train-val下，进行下面的修改：
//【1】改为你自己的网络模型配置文件的目录net: "data/mine/train-val/cifar10_quick_train_test.prototxt"//【2】预测阶段迭代次数，设为3，因为batch_size设为50，这样就可以覆盖150张测试集图片test_iter: 3//【3】每迭代50次， 进行一次测试test_interval: 50//【4】权值学习率,其实就是在反向传播阶段,权值每次的调整量的程度base_lr: 0.001momentum: 0.9weight_decay: 0.004//【5】在整个过程中,我们使用固定的学习率，也可尝试使用可变学习率lr_policy: "fixed"//【6】因为想观察每一次训练的变化，所以设置迭代一次显示一次内容display: 1//【7】将最大迭代次数设为4000max_iter: 4000//【8】每迭代1000次输出一次结果snapshot: 1000//【9】输出格式snapshot_format: HDF5//【10】输出文件的前缀snapshot_prefix: "data/mine/cifar10_quick"//【11】用的是CPUsolver_mode: CPU
编写训练脚本
在根目录下新建批处理bat文件，命名为trainMine_useCifar10.bat，内容如下所示：
运行后，即调用train-val文件夹下的cifar10_quick_solver.prototxt开始训练，训练过程如下图所示：
...
训练完成后，在指定目录下生成了HDF5格式的训练模型：
验证测试集
在根目录下编写批处理bat文件，命名为testMine_useCifar10.bat：
双击运行后，开始对测试集中的数据进行测试，输出结果如下所示：
可以看到，有些测试batch的准确率为1，有些batch的准确率为0，accuracy部分除了这两个数字，未出现其它数字，所以我估摸着必有蹊跷，但还不知道问题出在哪，待日后再弄明白！
以上。
使用caffe的cifar10网络模型训练自己的图片数据