首页 > 代码库 > 基于pycaffe的网络训练和结果分析（mnist数据集）
基于pycaffe的网络训练和结果分析（mnist数据集）
该工作的主要目的是为了练习运用pycaffe来进行神经网络一站式训练，并从多个角度来分析对应的结果。
目标：
- python的运用训练
- pycaffe的接口熟悉
- 卷积网络（CNN）和全连接网络（DNN）的效果差异性
- 学会从多个角度来分析分类结果
- 哪些图片被分类错误并进行可视化？
- 为什么被分错？
- 每一类是否同等机会被分错？
- 在迭代过程中，每一类的错误几率如何变化？
- 是否开始被正确识别后来又被错误识别了？
测试数据集：mnist
代码：https://github.com/TiBAiL/PycaffeTrain-LeNet
环境：Ubuntu 16.04LTS训练，Windows 7+VS2013分析
关于网络架构，在caffe的训练过程中，会涉及到三种不同类型的prototxt文件，分别用于train、test（validation）以及deploy。这三种文件需要保持网络架构上的统一，方可使得程序正常工作。为了达到这一目的，可以通过程序自动生成对应的文件。这三种文件的主要区别在于输入数据层以及loss/accuracy/prob层。
与此同时，针对solver.prototxt文件，我也采用了python程序的方式进行生成。在求解过程中，为了能够统计train loss/test loss以及accuracy信息以及保存任意时刻的model参数，可以采用pycaffe提供的api接口进行处理。
代码如下：
1 import numpy as np 2 import caffe 3 from caffe import layers as L, params as P, proto, to_proto 4 5 # file path 6 root = ‘/home/your-account/DL-Analysis/‘ 7 train_list = root + ‘mnist/mnist_train_lmdb‘ 8 test_list = root + ‘mnist/mnist_test_lmdb‘ 9 10 train_proto = root + ‘mnist/LeNet/train.prototxt‘ 11 test_proto = root + ‘mnist/LeNet/test.prototxt‘ 12 13 deploy_proto = root + ‘mnist/LeNet/deploy.prototxt‘ 14 15 solver_proto = root + ‘mnist/LeNet/solver.prototxt‘ 16 17 def LeNet(data_list, batch_size, IncludeAccuracy = False, deploy = False): 18 """ 19 LeNet define 20 """ 21 22 if not(deploy): 23 data, label = L.Data(source = data_list, 24 backend = P.Data.LMDB, 25 batch_size = batch_size, 26 ntop = 2, 27 transform_param = dict(scale = 0.00390625)) 28 else: 29 data = http://www.mamicode.com/L.Input(input_param = {‘shape‘: {‘dim‘: [64, 1, 28, 28]}}) 30 31 conv1 = L.Convolution(data, 32 kernel_size = 5, 33 stride = 1, 34 num_output = 20, 35 pad = 0, 36 weight_filler = dict(type = ‘xavier‘)) 37 38 pool1 = L.Pooling(conv1, 39 pool = P.Pooling.MAX, 40 kernel_size = 2, 41 stride = 2) 42 43 conv2 = L.Convolution(pool1, 44 kernel_size = 5, 45 stride = 1, 46 num_output = 50, 47 pad = 0, 48 weight_filler = dict(type = ‘xavier‘)) 49 50 pool2 = L.Pooling(conv2, 51 pool = P.Pooling.MAX, 52 kernel_size = 2, 53 stride = 2) 54 55 ip1 = L.InnerProduct(pool2, 56 num_output = 500, 57 weight_filler = dict(type = ‘xavier‘)) 58 59 relu1 = L.ReLU(ip1, 60 in_place = True) 61 62 ip2 = L.InnerProduct(relu1, 63 num_output = 10, 64 weight_filler = dict(type = ‘xavier‘)) 65 66 #loss = L.SoftmaxWithLoss(ip2, label) 67 68 if ( not(IncludeAccuracy) and not(deploy) ): 69 # train net 70 loss = L.SoftmaxWithLoss(ip2, label) 71 return to_proto(loss) 72 73 elif ( IncludeAccuracy and not(deploy) ): 74 # test net 75 loss = L.SoftmaxWithLoss(ip2, label) 76 Accuracy = L.Accuracy(ip2, label) 77 return to_proto(loss, Accuracy) 78 79 else: 80 # deploy net 81 prob = L.Softmax(ip2) 82 return to_proto(prob) 83 84 def WriteNet(): 85 """ 86 write proto to file 87 """ 88 89 # train net 90 with open(train_proto, ‘w‘) as file: 91 file.write( str(LeNet(train_list, 64, IncludeAccuracy = False, deploy = False)) ) 92 93 # test net 94 with open(test_proto, ‘w‘) as file: 95 file.write( str(LeNet(test_list, 100, IncludeAccuracy = True, deploy = False)) ) 96 97 # deploy net 98 with open(deploy_proto, ‘w‘) as file: 99 file.write( str(LeNet(‘not need‘, 64, IncludeAccuracy = False, deploy = True)) ) 100 101 def GenerateSolver(solver_file, train_net, test_net): 102 """ 103 generate the solver file 104 """ 105 106 s = proto.caffe_pb2.SolverParameter() 107 s.train_net = train_net 108 s.test_net.append(test_net) 109 s.test_interval = 100 110 s.test_iter.append(100) 111 s.max_iter = 10000 112 s.base_lr = 0.01 113 s.momentum = 0.9 114 s.weight_decay = 5e-4 115 s.lr_policy = ‘step‘ 116 s.stepsize = 3000 117 s.gamma = 0.1 118 s.display = 100 119 s.snapshot = 0 120 s.snapshot_prefix = ‘./lenet‘ 121 s.type = ‘SGD‘ 122 s.solver_mode = proto.caffe_pb2.SolverParameter.GPU 123 124 with open(solver_file, ‘w‘) as file: 125 file.write( str(s) ) 126 127 def Training(solver_file): 128 """ 129 training 130 """ 131 132 caffe.set_device(0) 133 caffe.set_mode_gpu() 134 solver = caffe.get_solver(solver_file) 135 #solver.solve() # solve completely 136 137 number_iteration = 10000 138 139 # collect the information 140 display = 100 141 142 # test information 143 test_iteration = 100 144 test_interval = 100 145 146 # loss and accuracy information 147 train_loss = np.zeros( np.ceil(number_iteration * 1.0 / display) ) 148 test_loss = np.zeros( np.ceil(number_iteration * 1.0 / test_interval) ) 149 test_accuracy = np.zeros( np.ceil(number_iteration * 1.0 / test_interval) ) 150 151 # tmp variables 152 _train_loss = 0; _test_loss = 0; _test_accuracy = 0; 153 154 # main loop 155 for iter in range(number_iteration): 156 solver.step(1) 157 158 # save model during training 159 if iter in [10, 30, 60, 100, 300, 600, 1000, 3000, 6000, number_iteration - 1]: 160 string = ‘lenet_iter_%(iter)d.caffemodel‘%{‘iter‘: iter} 161 solver.net.save(string) 162 163 if 0 == iter % display: 164 train_loss[iter // display] = solver.net.blobs[‘SoftmaxWithLoss1‘].data 165 166 ‘‘‘ 167 # accumulate the train loss 168 _train_loss += solver.net.blobs[‘SoftmaxWithLoss1‘].data 169 if 0 == iter % display: 170 train_loss[iter // display] = _train_loss / display 171 _train_loss = 0 172 ‘‘‘ 173 174 if 0 == iter % test_interval: 175 for test_iter in range(test_iteration): 176 solver.test_nets[0].forward() 177 _test_loss += solver.test_nets[0].blobs[‘SoftmaxWithLoss1‘].data 178 _test_accuracy += solver.test_nets[0].blobs[‘Accuracy1‘].data 179 180 test_loss[iter / test_interval] = _test_loss / test_iteration 181 test_accuracy[iter / test_interval] = _test_accuracy / test_iteration 182 _test_loss = 0 183 _test_accuracy = 0 184 185 # save for analysis 186 np.save(‘./train_loss.npy‘, train_loss) 187 np.save(‘./test_loss.npy‘, test_loss) 188 np.save(‘./test_accuracy.npy‘, test_accuracy) 189 190 if __name__ == ‘__main__‘: 191 WriteNet() 192 GenerateSolver(solver_proto, train_proto, test_proto) 193 Training(solver_proto)
利用上述代码训练出来的model进行预测，并对结果进行分析（相关分析代码参见上述链接）：
- 利用第10000步（最后一步）时的model进行预测，其分类错误率为0.91%。为了能够直观的观察哪些图片被分类错误，这里我们给出了所有分类错误的图片。在对应标题中，第一个数字为预测值，第二个数字为实际真实值。从中我们可以看到，如红框所示，有许多数字确实是鬼斧神工，人都几乎无法有效区分。
- 现在，我们来看一看，针对每一类，其究竟被分成了哪些数字？这个其实可以从上图看出，这里我给出他们的柱状图，其中子标题表示真实的label，横坐标表示被错误分类的label，纵坐标表示数量，最后一个子图表示在所有的错误分类中，每一类所占的比例。从中可以看出，3/5，4/6，7/2，9/4等较容易混淆，这个也可以非常容易理解。此外，我们也可以发现，数字1最容易分辨，这个可能是因为每个人写1都比较相似，变体较少导致的。
- 接着，让我们来考察一下，在迭代过程中，每个数字的分类准确度是如何变化的。其中，子标题表示真实的label，横坐标表示迭代步数，纵坐标表示分类错误的数量，最后一个子图表示迭代过程中，总的错误率的变化曲线。从该图中，我们可以看出，在迭代过程中，一个图片是有可能先被分类正确后来又被分类错误的（各子曲线并不呈现单调递减的关系），这点也可以从中间变量中进行定量分析看出（代码中有该变量）。
- 关于train loss、test loss以及accuracy的曲线。注意，这里的train loss是某一步的值（因此具有强随机性），而test loss以及accuracy则是100次的平均值（因此较为平滑）
- 最后，让我们来分析一下全连接网络（DNN）的结果。所采用的网络架构为LeNet-300-100。其最终的分类错误率为3.6%。这里我仅给出按比例随机挑选的100张错误图片，以及在迭代过程中每个数字错误率的变换，如下所示。可以看到，DNN网络在第10步时其错误率高达80%左右，而CNN网络在该步时的错误率为30%左右，这其中是否有某种深刻内涵呢？
基于pycaffe的网络训练和结果分析（mnist数据集）
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。