首页 > 代码库 > 五 浅谈CPU 并行编程和 GPU 并行编程的区别

五 浅谈CPU 并行编程和 GPU 并行编程的区别

前言

  CPU 的并行编程技术,也是高性能计算中的热点,也是今后要努力学习的方向。那么它和 GPU 并行编程有何区别呢?

  本文将做出详细的对比,分析各自的特点,为将来深入学习 CPU 并行编程技术打下铺垫。

区别一:缓存管理方式的不同

  GPU:缓存对程序员不透明,程序员可根据实际情况操纵大部分缓存 (也有一部分缓存是由硬件自行管理)。

  CPU:缓存对程序员透明。应用程序员无法通过编程手段操纵缓存。

区别二:指令模型的不同

  GPU:采用 SIMT - 单指令多线程模型,一条指令配备一组硬件,对应32个线程 (一个线程束)。

  CPU:采用 MIMD - 多指令多数据类型。多条指令构成指令流水线,且每个线程都有独立的硬件来操纵整个指令流。

  用通俗易懂的话来说,GPU 采用频繁的线程切换来隐藏存储延迟,而 CPU 采用复杂的分支预测技术来达到此目的。

区别三:硬件结构的不同

  GPU 内部有很多流多处理器。每个流多处理器都相当于一个“核",而且一个流多处理器每次处理 32 个线程。

  故 GPU 的数据吞吐量非常大,倾向于进行数据并发型优化;而 CPU 则倾向于任务并发型优化。