测试的数组数量是 const int num_elements = 1<<20;

运算次数是1000次。

发现gpu的分配内存和拷贝操作很花时间。

1 对数量为 1<<20的数组，1000次cpu求和操作，时间是7720.0 ms。

2 在gpu，一次分配内存和拷贝，1000次求和，时间是360.0 ms。

3 在gpu,1000次分配内存和拷贝，1000次求和，时间是2700.0 ms。

哈哈，如果省去分配内存和拷贝时间，求和操作，在 gpu比cpu快20倍。

但是加上的话，就快不了多少了。

所以，设计GPU程序的时候，一定要减少内存分配和拷贝的操作。

其实可能内存分配花不了多少时间，主要是拷贝， 1<<20这么多个元素拷贝，想想都知道久。

做了个一次的实验，

cpu是10ms。

gpu，加上分配内存和拷贝，要60ms,

不算内存分配和拷贝，0ms。

所以，如果数据本来是在gpu的话，那gpu做计算肯定快。

但是如果数据本来在cpu，先拷贝到gpu，再做运算，这种效率肯定低。

所以，

内存分配要合理，该在gpu的放在gpu。

尽量减少内存拷贝。

数组求和的快速方法（利用cuda的共享内存）--第三部分之性能分析