首页 > 代码库 > caffe扩展实验

caffe扩展实验

2024-09-01 21:44:29   218人阅读

caffe实现caltech101图像分类

这里讲述如何用自己的数据集,在caffe平台一步步实现的过程[新手参考];

主要分为下面3个环节:

  • 数据集准备 Dataset preparation
  • caffe网络准备 Caffe network files preparation
  • 从零开始训练和微调 From scratch training and finetuning

 复制imagenet项目到MyNet,修改内容完成caltech101数据集分类网络

数据集准备:

caltech101(加利福尼亚理工学院101类图像数据库)数据集:

数据集地址: http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html

直接下载: 101_ObjectCategories.tar.gz (131Mbytes)

简介:

文件夹包含属于101类别的图片对象,一个文件夹包含一类图片。 每类约40至800张图像。 大多数类别都有大约50张图片。 2003年9月由Fei-Fei Li，Marco Andreetto和Marc‘Aurelio Ranzato收集。 每个图像的大小约为300×200像素。图片总量过8000张。

技术分享 技术分享

caffe数据集的创建需要两个文件: train.txt 和 val.txt, 格式为 图片路径+所属类别编号,内容片段如下

...caltech101/windsor_chair/image_0005.jpg 98caltech101/windsor_chair/image_0023.jpg 98caltech101/windsor_chair/image_0043.jpg 98caltech101/wrench/image_0009.jpg 99caltech101/wrench/image_0018.jpg 99...

需要注意的是类别编号从0开始.

下面给出python实现的程序getlist.py,自动生成train.txt和val.txt

import osroot = os.getcwd() #获取当前路径data = http://www.mamicode.com/‘caltech101‘>

执行命令生成[在caffe-master/data/目录下执行] 

ipython getlist.py　　 

转换成lmdb格式　　

caffe-master/examples/imagenet目录下create_imagenet.sh可以方便的实现转换,需要简单修改如下配置项

EXAMPLE=examples/MyNet  # 指定存储LMDB数据位置  DATA=http://www.mamicode.com/data/ # 存放train.txt和val.txt文件的文件夹>

修改完毕之后,执行shell命令,得生成训练和测试的lmdb数据

./examples/MyNet/create_imagenet.sh

结果如下　　

技术分享

imagenet/make_imagenet_mean.sh 会根据lmdb文件生成一个均值文件, 修改对应参数来生成二进制均值文件,在运算时可以大大加快运算速度,但不是必须

$TOOLS/compute_image_mean $EXAMPLE/MyNet_train_lmdb \ # train数据lmdb文件夹路径  $DATA/mean.binaryproto # 保存均值文件的路径

caffe网络文件

caffe网络文件可以根据caffe-master/models/bvlc_reference_caffenet/下的两个文件修改: solver.protoxt 和 train_val.protoxt[DAG网络]　　

技术分享

将两个文件拷贝到examples/MyNet目录下,首先修改examples/MyNet/train_caffenet.sh

./build/tools/caffe train     --solver=examples/MyNet/solver.prototxt $@

修改solver参数,指向当前目录下的solver.protoxt文件,然后修改solver.protoxt文件内容

net: "examples/MyNet/train_val.prototxt" # 网络文件路径test_iter: 100 # 迭代n*batch_size需要覆盖所有数据test_interval: 300 # 每迭代300次后输出测试结果base_lr: 0.01lr_policy: "step"gamma: 0.1stepsize: 100display: 100 # 每迭代100次训练数据输出一次结果max_iter: 5000 # 最大迭代次数momentum: 0.9weight_decay: 0.0005snapshot: 4000 snapshot_prefix: "examples/MyNet/caffenet_train"solver_mode: GPU

修改train_val.prototxt文件内容,四项内容, 文件片段如下

name: "CaffeNet"layer {  name: "data"  type: "Data"  top: "data"  top: "label"  include {    phase: TRAIN  }  transform_param {    mirror: true    crop_size: 60    mean_file: "examples/MyNet/mean.binaryproto" # 01  }  data_param {    source: "examples/MyNet/MyNet_train_lmdb" # 02    batch_size: 256    backend: LMDB  }}layer {  name: "data"  type: "Data"  top: "data"  top: "label"  include {    phase: TEST  }  transform_param {    mirror: false    crop_size: 60    mean_file: "examples/MyNet/mean.binaryproto" # 03  }  data_param {    source: "examples/MyNet/MyNet_val_lmdb" # 04    batch_size: 50    backend: LMDB  }}

从0开始训练和微调　

开始训练

./examples/MyNet/train_caffenet.sh

结果[准确率9.7%]

技术分享

总结：因为训练数据很少,总共8000张左右,其中随机去10%用于测试,只有7000张左右图片可以用来训练,虽然实验现在没有取得理想的结果，但是一步步实验的过程，依旧让人收获很多。

微调

......　　

未完待续　　

 

 iiiiiiii

 

caffe扩展实验


联系
我们