博主因为工作其中的须要，開始学习 GPU 上面的编程，主要涉及到的是基于 GPU 的深度学习方面的知识，鉴于之前没有接触过 GPU 编程。因此在这里特地学习一下 GPU 上面的编程。有志同道合的小伙伴。欢迎一起交流和学习，我的邮箱:caijinping220@gmail.com 。

使用的是自己的老古董笔记本上面的 Geforce 103m 显卡，尽管显卡相对于如今主流的系列已经很的弱。可是对于学习来说，还是能够用的。本系列博文也遵从由简单到复杂。记录自己学习的过程。

0. 文件夹

• GPU 编程入门到精通（一）之 CUDA 环境安装
• GPU 编程入门到精通（二）之 执行第一个程序
• GPU 编程入门到精通（三）之 第一个 GPU 程序
• GPU 编程入门到精通（四）之 GPU 程序优化
• GPU 编程入门到精通（五）之 GPU 程序优化进阶

1. 数组平方和并行化

GPU 编程入门到精通（三）之 第一个 GPU 程序 中讲到了怎样利用 CUDA5.5 在 GPU 中执行一个程序。通过程序的执行。我们看到了 GPU 确实能够作为一个运算器。可是，我们在前面的样例中并没有正真的发挥 GPU 并行处理程序的能力。也就是说之前的样例仅仅利用了 GPU 的一个线程，没有发挥程序的并行性。

先来说说 CUDA5.5 中 GPU 的架构。

它是由 grid 组成。每一个 grid 又能够由 block 组成，而每一个 block 又能够细分为 thread。所以，线程是我们处理的最小的单元了。

接下来的样例通过改动前一个样例，把数组切割成若干个组（每一个组由一个线程实现），每一个组计算出一个和，然后在 CPU 中将分组的这几个和加在一起，得到终于的结果。这样的思想叫做归约 。

事实上和分治思想几乎相同，就是先将大规模问题分解为小规模的问题，最后这些小规模问题整合得到终于解。

因为我的 GPU 支持的块内最大的线程数是 512 个，即 cudaGetDeviceProperties 中的 maxThreadsPerBlock 属性。

怎样获取这个属性。请參看 GPU 编程入门到精通（二）之 执行第一个程序 这一章节。

我们使用 512 个线程来实现并行加速。

好了，接下来就是敲代码的时候了。

1.1. 改动代码

• 首先，在程序头部添加一个关于线程数量的宏定义：

    // ======== define area ========
    #define DATA_SIZE 1048576 // 1M
    #define THREAD_NUM 512 // thread num
  

  当中，DATA_SIZE 表示处理数据个数， THREAD_NUM 表示我们将要使用 512 个线程。

• 其次，改动 GPU 部分的内核函数

    const int size = DATA_SIZE / THREAD_NUM;
    const int tid = threadIdx.x;
    int tmp_sum = 0;
  
    for (int i = tid * size; i < (tid + 1) * size; i++) {
    tmp_sum += data[i] * data[i];
    }
    sum[tid] = tmp_sum;
    }
  

  此内核程序的目的是把输入的数据分摊到 512 个线程上去计算部分和，而且 512 个部分和存放到 sum 数组中，最后在 CPU 中对 512 个部分和求和得到终于结果。

  此处对数据的遍历方式请注意一下，我们是依据顺序给每个线程的，也就是例如以下表格所看到的：

  线程编号	数据下标
  0	0 ~ 2047
  … …	… …
  511	1046528 ~ 1048575

• 然后，改动主函数部分
  主函数部分，仅仅须要把 sum 改成数组就能够，而且设置一下调用 GPU 内核函数的方式。

    // malloc space for datas in GPU
    cudaMalloc((void**) &sum, sizeof(int) * THREAD_NUM);
  
    // calculate the squares‘s sum
    squaresSum<<<1, THREAD_NUM, 0>>>(gpuData, sum, time);
  

• 最后，在 CPU 内添加部分和求和的代码

    // print result
    int tmp_result = 0;
    for (int i = 0; i < THREAD_NUM; ++i) {
    tmp_result += result[i];
    }
    printf("(GPU) sum:%d time:%ld\n", tmp_result, time_used);
  

1.2. 编译执行

编译后，执行结果例如以下所看到的：

2. 性能分析

经过改动以后的程序，比之前的快了将近 36 倍（能够參考博文GPU 编程入门到精通（三）之 第一个 GPU 程序 进行比較），可见并行化处理还是存在优势的。

只是细致想一下，我们使用了 512 个线程。 但是性能怎么才提升了 36 倍，不应该是 512 倍吗？？？

这里就涉及到内存的存取模式了，显卡上面的内存是 DRAM，是效率最高的存取方式，它是一种连续的存取方式。 前面我们的程序确实的连续读取的呀，都挨个读取了。怎么还是没有达到预期的效果呢？？？

这里还须要考虑 thread 的运行方式。GPU 编程入门到精通（三）之 第一个 GPU 程序 中说到，当一个 thread 在等待内存数据的时候， GPU 就会切换到下一个 thread。

所以。实际运行的顺序类似于 thread0 —> thread1 —> … … —> thread511。

这就导致了同一个 thread 在读取内存是连续的。 可是对于总体而言，运行的过程中读取就不是连续的了（这里自己细致想想，就明确了）。所以，正确的做法例如以下表格所看到的：

依据这个原理，改动内核函数例如以下：

for (int i = tid; i < DATA_SIZE; i += THREAD_NUM) {
tmp_sum += data[i] * data[i];
}

编译执行后结果例如以下所看到的：

改动后程序。比之前的又快了 13 倍左右，可见。对内存的读取方式对于性能的影响非常大。

至此。并行化后的程序较未并行化之前的程序，速度上快了 493 倍左右，可见，基本上发挥了 512 个线程的优势。

让我们再来分析一下性能：

此 GPU 消耗的时钟周期： 1595788 cycles
GeForce G 103M 的 clockRate： 1.6 GHz
所以能够计算出 GPU 上执行时间是： 时钟周期 / clockRate = 997.3675 us
1 M 个 int 型数据有 4M Byte 的数据量，实际使用的 GPU 内存带宽是：数据量 / 执行时间 = 4.01 GB/s

再来看看我的 GPU GeForce 103m 的内存带宽：执行 SDK 文件夹以下 /samples/1_Utilities/bandwidthTest

执行后结果例如以下所看到的：

通过与系统參数的对照，能够知道，基本上达到了系统的极限性能。