首页 > 代码库 > 深度学习 CNN CUDA 版本2

深度学习 CNN CUDA 版本2

作者:zhxfl

邮箱:zhxfl##mail.ustc.edu.cn

主页:http://www.cnblogs.com/zhxfl/p/4155236.html

 

第1个版本blog在这里:http://www.cnblogs.com/zhxfl/p/4134834.html 

第2个版本github:https://github.com/zhxfl/CUDA-CNN

欢迎fork,在第一个版本的时候,我们只是针对手写数字,也就是黑白图片。在第二个版本中,我加入了很多东西。

 

第二个版本的特性

1、支持rgb图片格式和rgbd图片格式(带有深度信息的图片)训练,带有深度信息的图片可以来源于Kinect。

参考论文Anddrew Y.Ng的论文:Convolutional-Recursive Deep Learning for 3D Object Classification,你可以找到对应的带有深度信息的数据集。

4d的图片不是这个版本的主要目的,但是你确实可以用这个代码来训练4D的数据集。(我在不久的未来会让这个版本更好的支持4D数据的训练)

2、第二个比较突出的特性是你可以看到配置文件的参数更加复杂了,我会对所有参数一一做说明。

 1 #Comment# 2  3 IS_GRADIENT_CHECKING = false;   #is true when debug# 4 BATCH_SIZE = 100;               #test image size should be divided with no remainder# 5 NON_LINEARITY = NL_RELU;        #NON_LINEARITY CAN = NL_SIGMOID , NL_TANH , NL_RELU# 6 CHANNELS = 3;                   #1, 3, 4# 7 CROP = 0.0;                     #0<= crop <=imgSize# 8 SCALE = 0.0;                    #ImgSize from -13.0 to 13.0# 9 ROTATION = 0.0;                 #angle from -13.0 to 13.0#10 DISTORTION = 0.0;               #just for mnist#11 SHOWIMAGE = false;              #show the images after transformation#12 13 [14 LAYER = CONV;15 KERNEL_SIZE = 5;16 KERNEL_AMOUNT = 7;17 WEIGHT_DECAY = 1e-6;18 POOLING_DIM = 2;19 ]20 21 [22 LAYER = CONV;23 KERNEL_SIZE = 5;24 KERNEL_AMOUNT = 9;25 WEIGHT_DECAY = 1e-6;26 POOLING_DIM = 2;27 ]28 29 [30 LAYER = FC;31 NUM_HIDDEN_NEURONS = 256;32 WEIGHT_DECAY = 1e-6;33 DROPOUT_RATE = 0.5;34 ]35 36 [37 LAYER = FC;38 NUM_HIDDEN_NEURONS = 256;39 WEIGHT_DECAY = 1e-6;40 DROPOUT_RATE = 0.5;41 ]42 43 [44 LAYER = SOFTMAX;45 NUM_CLASSES = 10;46 WEIGHT_DECAY = 1e-6;47 ]
1)IS_GRADIENT_CHECKING 这是一个debug选项(其原理可以参考斯坦福深度学习的教程)。如果你修改了代码,建议你设置为true。你必须确保(g(s + delta) - g(s - delta)) / 2 约等于g(s)。他可以辅助你判断目前的代码是否存在bug。
2)BASH_SIZE,我们训练的方法是mini-batch,这个数值的设置对于收敛的结果和速度都是有影响的。建议可以尝试50,100,150,200等,你会得到不同的试验结果。

接下来的几个参数都是用来克服overfitting的,对于深度学习而言,训练样本越多,效果会越好。所以我们对于训练数据必须加以扩展。

3)CROP是裁剪参数,假设图像大小为ImgSize,那么是最终训练的数据应该是ImgSize-CROP,裁剪的窗口起点是随机的,也就是一张图片已经变成了CROP*CROP张图片了。
4)ROTATION是旋转,这步操作对于手写数字非常有效,但是你必须确保旋转的角度不要过大,比如13度,那么最后代码训练的图片都会被随机的旋转角度[-13,13],这是一个区间。
5)DISTORTION又称为畸变,这个也比较适合手写数字,参数越大,图片变化越大,从大量实验看,针对手写数据集,设置为3.4是比较合适的,原理参考论文Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis
6)SHOWIMAGE这是一个debug选项,3)-5)都是对图片做一些变化,如果你想知道变化的效果,那么可以把这个参数设置为true,这样你就可以看到变化之后的效果。方便你更好的调整3)-5)这些参数。

目前试验结果
1、对CIFAR-10数据集进行了比较短时间的训练(没有对数据进行变化),测试准确率是72.79%,接近于https://code.google.com/p/cuda-convnet/ 的初步结果,这样一个试验结果已经足够说明代码的正确性了。如果你想让结果更好,可以尝试对图片做一些变换,并且调整网络的规模进行训练,只要足够耐心你可以利用我的代码得到80%左右的正确率。
我最初的代码是参考http://eric-yuan.me/cnn3/,Eric加入了不少东西,但是针对CIFAR-10他只是得到了65%的正确率,我能够等到更高的正确率归功于CUDA加速,使得我可以设置规模更大的网络,仅此而已。
当然,在我的第三个大版本中,我会确保针对cifar-10数据集,我能够得到接近于所有公开结果中最好的实验结果。
2、针对mnist数据集,依然可以轻易的实现99%以上的正确率。

第3个版本的主要任务。
1、在实现第二个版本的时候,我fix了大量的bug,你要清楚,一个大型项目不可能没有bug的,只要他不影响工作,目前从试验效果看,第二个版本已经稳定了。
2、目前我的网络结构依然太单一了,第3个版本的核心任务就是加入如下两个特性:
1)参考Notes on Convolutional Neural Networks第3.3节,Learning Conbinations of Feature Maps。
2)参考ImageNet Classification with Deep Convolutional Neural Networks第3.3节,Local Response Normalization。
这两个特性是非常重要,可以非常显著提升数据集CIFAR-10的准确率,你会在第3个版本看到这两个特性,并且通过配置文件决定是否使用它们进行训练(因为针对mnist你并不需要这么复杂的特性,加入会降低运算效率)。





深度学习 CNN CUDA 版本2