CPU+GPU并行计算的好处

messed

一 、CPU多核转到GPU并行化(适合算术密集型)
; A( R) ~4 ?! z4 v虽然GPU并不适用于所有问题的求解，但是我们发现那些对运算力量耗费巨大的科学命题都具备天然的特色。这类程序在运行时拥有极高的运算密度、并发线程数量和频繁地存储器访问，无论是在音频处理、视觉仿真还是到分子动力学模拟和金融风险评估领域都有大量涉及。这种问题如果能够顺利迁移到GPU为主的运算环境中，将为我们带来更高效的解决方案。
9 o6 X* l( F7 M, Q: L3 h
4 T8 T# A1 ]6 r! r8 n传统意义上的GPU不善于运行分支代码，但是ATI和NVIDIA经过长期改进其内部架构已经使得GPU可以较为高效地运行分支、循环等复杂代码。同时因为GPU属于并行机范畴，相同的运算可以应用到每个数据元素的时候，它们可以达到最好的性能。在CPU编程环境中，写出每个输入数据元素有不同数量的输入的程序很容易，但在GPU这种并行机上还是有不少麻烦。
4 B1 f2 e, |( j5 k
0 W* ]3 \  E5 m4 Y通用的数据结构正是GPU编程的最大困难之一。CPU程序员经常使用的数据结构如列表和树在GPU身上并不容易实现。GPU目前还不允许任意存储器访问，而且GPU运算单元的设计为主要操作是在表现位置和颜色的四维向量上。;
2 |  C% s# q; I+ g9 N- x
不过这些并不能阻挡GPU编程的加速发展，因为GPU不是真的为通用计算而设计的，需要一些努力才能让GPU高速地服务通用计算程序。这些努力前些年是程序员而单独实现的，而随着ATI和NVIDIA开始看到高性能计算市场的硬件需求，我们看到无论是Fermi架构添加全能二级缓存和统一定址还是RV870架构不断优化LDS并放大并发线程数，这些都是GPU自身硬件体系为了适应未来的运算环境而做出的变革。

二、并行化编程优点-
3 U6 T0 x- A! l+ \2 }$ W5 G
7 w1 [+ ^$ D8 K& V6 A在GPU并行编程过程中，OpenCL是一个不错的选择。OpenCL是Open Computing Language(开放式计算语言)的简称，它是第一个为异构系统的通用并行编程而产生的统一的、免费的标准。OpenCL支持由多核的CPU、GPU、Cell类型架构以及信号处理器(DSP)等其他的并行设备组成的异构系统。2
6 o7 E) x* p& V& V4 r2 @0 m$ i) N
. _' M% o. w  j" u4 ROpenCL的出现，使得软件开发人员编写高性能服务器、桌面计算系统以及手持设备的代码变得更加快捷。OpenCL由用于编写内核程序的语言和定义并控制平台的API组成，提供了基于任务和基于数据的两种并行计算机制，使得GPU的计算不在仅仅局限于图形领域，而能够进行更多的并行计算。但是，如果通过传统的方法开发一个能够运行在异构平台(在CPU和GPU的平台)的程序是很难的。不同的厂商，不同的产品型号的GPU一般有着不一样的架构，这样要想开发出一款能够高效的能够运用不同平台的所有计算资源的软件是很难的。OpenCL的出现有效地解决了异构平台的问题。

OpenCL规范是由Khronos Group推出的，OpenCL程序不仅仅可以运行在多核的CPU上，也可以在GPU上进行执行，这充分体现了OpenCL的跨平台性和可移植性，也让编程人员可以充分利用GPU的强大的并行计算能力，相对于CPU来说，GPU存在很多特点。

5 y4 `- l- M. k9 q6 W

- {  s7 ~% g  b& v  c  a' w

• GPU拥有的核心的数量要比高端CPU的核心数量多很多。虽然GPU的每个运算核心没有CPU的每个运算核心工作频率高，但是GPU的总体性能-芯片面积比以及性能-功耗比比CPU高很多，所以在处理越多线程的并行计算的任务性能高很多。
  
  
• GPU能够通过大量并行线程之间的交织运行隐藏全局的延迟，除此之外GPU还拥有大量的寄存器、局部存储器和cache等用来提升外部存储的访问性能。; J$ ^4 M3 n/ W! u0 Y
  ) H: n% r, y3 u1 N" Q
  ; }% ?2 ~: D, g% _6 x" D
• 在传统的CPU运算中，线程之间的切换是需要很大的开销的，所以在开启了大量线程的算法的效率是很低的。但是，在GPU中，线程之间的切换是很廉价的。$ t! r2 e3 V0 ?8 [' t6 p( c/ _) m
  
  ( {% E) ^* ?( t

7 D# t) U/ \9 f
( C6 e( b3 V9 y. I* q9 E) ?) W1 N6 @
: ?( F% i( m+ ~* c# O) cGPU的计算能力比CPU强很多。
4 N, D+ P/ X" U& G1 l- ?( D) h( a0 |! Y& P. i
2 p- o" q7 e5 l/ P* v/ O! b& m! h4 u( k三、OpenCL环境下并行化编程/ a0 Q7 _8 j9 s6 L
. ^& D2 `& C' K" N
& {) j4 E& L, @# ?8 z! D8 q: gOpenCL是一个开放的工业标准，它可以为CPU和GPU等不同的设备组成的异构平台进行编程。OpenCL是一种语言，也是一个为并行编程而提供的框架，编程人员可以利用OpenCL编写出一个能够在GPU上执行的通用程序。+ d8 ^7 _5 K" r8 `5 J' u0 y
% T# x* i3 |. P
; F% Q% r% B1 ]8 T: }$ N1 rOpenCL的技术核心包好了下面的四种模型：平台模型(Platform Model)：OpenCL平台模型定义了主机和设备的角色，为程序员写在设备上执行的OpenCL C函数(内核)提供了一个抽象的硬件模型。平台模型确定了主机上的处理器能够协调执行，而且存在一个或者多个处理器能够执行OpenCL C代码(设备)。4 ~6 u& C9 k7 Z1 k& G9 Y0 X% }
. c4 Z( F& D8 V' h
7 L% I  I% Q7 v' ]执行模型(Execution Model)：定义如何在主机上配置OpenCL环境以及内核(kernel)是如何在设备上执行的。这其中包括在主机上设置OpenCL上下文，提供主机和设备交互的机制，定义了内核在设备上执行的兵法模式。/ I8 a6 G. F# o- O9 u
& E8 V9 N0 @7 t/ w
4 J: _/ u( d# x' [% l: z内存模型(Memory Model)：定义了内核使用的抽象的内存层次。" A: w4 k7 Z& u) v7 z9 p6 {* F
( l% u8 f' s% U2 X( U' S- R" u) o1 I
编程模型(Programming Model)：定义了并发模型如何让映射到物理硬件。
& c/ C6 N* ~& \& Q1 ^
OpenCL框架被分成平台层API和运行时API，平台层API允许应用查询平台和设备，而且可以通过上下文来管理它们。运行时的API利用上下文去管理设备上的内核的执行。
. Z% J' B+ H% m& y
; b" {' m8 [* ^+ r& a8 r4 H
四、OpenCL并行化调试工具* ?1 U: v( Y- G) Q
* b7 s3 @0 |  P- |- Q7 t# m, n5 ^1 v! j9 P
1 X3 \9 g; g# e+ ?  Y在利用OpenCL进行编程之后，我们可以使用gDEBugger进行调试，gDEBugger是一个高级的OpenCL和OpenGL调试器，分析器和内存分析器。它可以完成其他工具无法完成的工作：追踪在OpenCL和OpenGL之上的应用程序的活动，并发现系统实现的内部发生了什么。
8 s( X$ W* k$ p- M; H
3 F6 p+ d- w- T! S$ b程序员可以在以下的情况下使用gDEBugger：优化OpenCL和OpenGL应用程序性能。快速找到与OpenCL和OpenGL相关的bug。改善程序性能和鲁棒性4 a/ K- f( n* b; Q8 T- c* H
) B' o2 S6 r# R) _  G( e* G1 H
五、CPU和GPU共享记忆体空间
4 x1 n% |+ [& u) Z" |' A
( M# s. T# c% k$ ^在过去的时间，虽然GPU和CPU已整合到同一个晶片上(GPGPU技术)，但是晶片在运算时要定位记忆体的位置仍然得经过繁杂的步骤，这是因为CPU和GPU的记忆体池仍然是独立运作。之前为了解决两者记忆体池独立的运算问题，当CPU程式需要在GPU上进行部分运算时，CPU都必须从CPU的记忆体上复制所有的资料到GPU的记忆体上，而当GPU上的运算完成时，这些资料还得再复制回到CPU记忆体上。

这些步骤都会不断耗费时间以及程式处理的效能。2012年，AMD就携手ARM、高通、三星、联发科等厂商成立HSA(Heterogeneous Systems Architecture)基金会，希望拓展CPU和GPU协同运算的新架构，并辅助此架构发展的异质运算新软体开发环境。& s, a1 i' f5 C7 G

日前，AMD进一步公开说明此运算架构的新技术：hUMA(heterogeneous Uniform Memory Access)。透过hUMA，CPU和GPU能共享同一个记忆体空间，并且CPU能够直接存取GPU的记忆体位址，不必像过去得花工夫再将GPU的运算资料复写到CPU上。近日，在HotChips会议上，AMD连续公布了桌面FX处理器使用的Steamroller架构、面向低功耗平台的Jaguar架构等，但是这都不是AMD的终极目标，他们声称处理器速度的竞争已经结束，未来属于HSA。7 q4 z' c  a# F* O9 X
8 \% G% i6 ~1 U$ D8 H4 ]+ d- m: y7 H2 q3 h
  K, h' {; G1 n) A. L六、未来发展趋势) M$ i2 Z/ w+ K8 k6 [3 c

在计算机发展历程中，为了解决各种特定的问题，不断有互不兼容的计算模块被加入系统，却很少从全局优化的角度加以考察。计算机整体效率不高的现状正是这种设计模式的直接后果。常见情况是软件的计算负载被调度在一个并不适合当前任务的计算设备上低效执行。HSA则展现了一种全新的体系架构，可以适应各种特性的计算任务。

) J8 `' [" R+ X5 B, CHSA版本可以在CPU和GPU之间无缝地共享数据，而无需内存拷贝和缓存刷新，因为任务以极低的开销被调度到合适的处理器上。最终的结果是HSA版本的性能高出2.3倍，而功耗降低2.4倍。相较而言，无论是多核CPU、GPU、甚至非HSA方式的混合CPU和GPU都无法达到这样的性能水平。同样重要的是，无需转换到迥异的编程模型，仅仅通过C++的简单扩展就可以实现程序。

8 E/ [$ u' b" w- V