专⽤数据处理器(DPU)技术⽩⽪书4：DPU软件栈五层模型

名字好听吗

1. 软件栈开发面临的挑战
DSA架构和XPU芯片的兴盛在给解决算力问题带来新机遇的同时，也给软硬件开发带来了新的挑战。与传统的以CPU为核心的应用开发模式相比，异构计算的开发难度较高。异构计算的一个特点是“异构”，即缺少“通用性”，需要开发人员同时深入了解多种处理器的开发和调优方式，给软硬件开发带来了更高的复杂度。异构计算的另一个特点是“软硬协作”，它需要开发人员将软件硬件作为一个整体来架构和开发，给当下计算生态中软硬界限分明、技术栈分层的开发模式带来颠覆性挑战，尤其是当DPU兴起之后的“多PU“共存（CPU+DPU+GPU/XPU）时代，如何协同调度好各个处理器编程框架（如GPU的CUDA、FPGA的OpenCL/HLS等），使其发挥最大效用，并且构建一个面向开发人员友好的协同软件开发生态，是迫切需要解决的问题。针对这个问题，根据职责分层、按功能抽象的思路，提出一个针对DPU芯片应用场景的异构计算五层架构模型。该模型定义了在异构计算场景下的通用 的开发架构模式，以此来降低包括DPU芯片在内的异构计算应用研发的难度，提高开发、维护和迭代效率。

, g' b6 |' U: h2. DPU异构计算架构五层开发模型
7 c$ n5 j* N. V4 E一般说来，异构计算的核心目的是解决特定应用场景下算力不足的问题，并且大幅度提升整体系统的计算性能。在整体架构上，它的分层逻辑从应用场景出发，通过上层的需求来定义下层的功能，而每一层是对特定功能的抽象与封装。在定义每一层功能时，要达到以下几个目标：
# k$ t- x' f$ _+ O0 f- H0 {• 各层职责单一
• 层间边界清晰
• 层内功能实现独立
• 灵活易扩展
) U8 Q% W6 c" q- y+ ?基于上述目标，将一个异构计算的系统抽象为五层（如图4-1所示），自下而上分别是：
5 e6 l# T$ [) Y0 R) [% O" {1）DSA设备层（DSA device Layer），
. |- V1 w7 `9 O" L! v% \2）DSA操作层 （DSA Operating Layer），
3）计算引擎层（Scheduling Operating Layer），
# H3 Y2 T( c9 U4 \4）应用服务层（APPlication Service Layer）
5）业务开发层 （Business Development Layer），详述如下：

2.1.DSA设备层
$ p" z4 C& j, wDSA设备层代表的是执行异构计算的DSA处理器以及集成了该处理器的硬件设备，例如，以DPU或GPU为处理器的异构计算设备。异构计算设备需要具备以下两个核心能力：
5 K  J; _# I0 `1）提供支持专用计算操作的指令集（Instruction Set），
% P/ y+ E- o- w: t8 d2）CPU或其他DSA设备的标准通信接口，如PCIe数据传输标准。
/ s2 a& K+ U* P
2.2. DSA操作层
2 c# |% d+ S8 n0 d7 U6 d: hDSA操作层是对DSA处理器的指令集的管理以及基础开发平台的整合，该层完成了对硬件资源的抽象，从而使上层软件对底层设备透明；DSA操作层是对DSA设备层计算设备的抽象和计算资源的封装，是软件与硬件、逻辑与物理 的边界。它基于如DPU芯片等DSA处理器提供的指令集，以更加抽象和编程友 好的方式对上层提供了异构计算开发和访问的软件接口、以及设备监控管理的接口。该层内部有四个必要的模块，分别是设备驱动器，指令集管理器，资源访问接口，开发和管理平台。
2 B0 S' E0 ~  x3 @( j8 h• 设备驱动器：设备驱动器是硬件设备的软件抽象，它基于操作系统标准的驱动框架及PCIe协议，实现了对计算设备的物理访问，主要包括设备处理器的指令执行和设备存储的读写。
• 指令集管理器：指令管理器的作用是对计算设备所提供的指令集进行统一管理，通过对指令集的封装及组合，提供更加友好的编程接口。
• 资源访问接口：基于设备驱动器和指令集管理器的功能，该模块完成对整个计算资源访问的抽象和封装，它以编程接口的方式对上层提供资源访问 入口，服务于上层计算逻辑和控制逻辑的执行。
• 开发和管理平台：除了上述运行时所需的能力外，还需要针对开发人员提供友好的编程工具，如指令集编译工具、监控管理工具、日志工具、异构计算卡模拟器等。
9 ~3 g. i; r2 r3 Y2.3.计算引擎层
计算引擎层是对计算逻辑的封装，为上层提供通用的计算能力。与DSA操作层的对计算资源封装不同，计算引擎层是对计算逻辑的封装，它基于DSA操作层提供的资源访问接口，根据上层应用层软件对算力的需求，提供了可复用的算子集合及执行接口。
2.4. 应用服务层
应用服务层是数据处理的应用服务软件，也是算力的需求侧。应用服务层代表具有通用功能的软件系统，这些软件系统可以利用计算引擎提供的算子进行异构计算，从而达到计算性能提升的目的。常见的应用层软件系统有分布式计算领域的Spark, Flink, Hadoop；数据库领域的PostgreSQL, MySQL；分布式网络中的gPRC，Network Gateway，Nginx；以及存储服务中的Ceph等等，基本上 通用服务型的系统都属于该层的范畴。
, P( U0 G4 o  k# [! {# o. r/ Q2.5. 业务开发层
2 L/ ], ~' D/ x' U( w业务开发层是在某特定领域的业务系统。业务开发层是最贴近实际业务场景的软件系统，通常它是针对某个特定行业的具体业务需求定制的软件系统，如金融行业的交易系统，互联网行业的数据分析系统等等。整个异构计算架构本质上就是解决业务层的性能瓶颈问题，所以在实际开发过程中，应该从业务端出发，寻找要解决的根本问题，然后驱动整个异构系统的构建。同时，整体架构也要保证底层构建对具体的业务系统完全透明，达到对各行业业务软件系统的无缝支撑和业务逻辑开发的隔离。

) Z( @1 z% G5 R: q. w1 m- Z* W' ~3. 典型软件框架案例
$ e4 S6 K1 m. q% `3.1. NVIDIA DOCA软件框架
: E4 k4 L# V* H" T1、设计⽬的
9 o: {0 G  s  n+ DNVIDIA BlueField DPU的核心目的是解决数据中心中基于CPU计算的基础设施的算力问题，主要涉及网络、存储、安全及基础设施管理这个几个方面。而DOCA是为了将BlueField DPU提供的硬件能力做软件抽象和封装，以SDK Library的形式提供友好的可编程接口，提高应用开发的效率。
2、技术细节
4 n3 j! \% ~5 e; @; w( {DOCA架构如图4-2所示，DOCA有三个模块，分别是：
+ ~4 ^' ]) F: \9 k4 A（1）DOCA drivers: 是对DPU硬件资源的低层次封装，其提供的low-level API是对硬件卸载能力的访问，主要包含网络卸载、安全卸载、存储卸载等算力的访问，同时支持DPDK, RDMA，Virtio-net（网络虚拟化)，Virtio-blk（存储虚拟化），PCIe等通用能力。
（2）DOCA lIBS: 是基于DOCA drivers为上层应用封装的high-level API, 这些API是面向应用层所需的功能，例如面向网络应用的Flow，Data Integrity,UPF(User Plane Function), VNF(Network Functions Virtualization)；面向存储应用的SPDK；面向安全应用的DPI(Deep Packet InSPECtion), Host intrOSPection等。
( h: l+ s! `5 q* d2 @# |（3）DOCA services: 封装了基础设施的控制和管理功能，如DPU设备的管理，SDN（Software-Defined Network）的控制接口, 存储管理，NetworkTelemetry等。

3、功能分析
' ?  F! s8 Y5 m: Z' \4 L/ k4 O从纵向的功能角度来看，DOCA SDK提供了网络加速、安全加速、存储加速和基础设施管理加速的功能，相关的技术细节如下：
（1）网络加速SDK：支持ASAP2 (Accelerated Switching and Packet Processing) SDN、VirtIO、OVS (open virtual switching) 、P4 编程、RDMA。
（2）安全加速SDK：支持Inline encryption、DPI (Deep Packet Inspection)、 TLS、IPSec。
（3）存储加速SDK：支持SPDK、VirtIO、NVMe-oF、数据加解密和数据压缩等。
（4）基础设施管理加速SDK：支持DPU management、Traffic telemetry、Packet fiLTEring。

) d& o" Z% i5 y3.2. Intel OneAPI软件框架
$ ^* `+ S. D& @# `6 m* N（1）设计⽬的
OneAPI设计的目的是通过实现一个跨平台，开放的，标准的通用编程模型及接口来提高在异构加速器架构下的开发效率。OneAPI本身并不提供DPU设备，而是构建一个软件框架来整合业界现有的异构计算设备11。
$ D7 }  z) C# h/ q4 w（2）技术细节
6 t/ B/ C* a& F% b. xOneAPI抽象出两层APIs，分为L0 (Low-level) API 和L1 (High-Level) API。其结构如图4-3所示。

1 C" R  N" L  H, U4 D  B# LL0 API: OneAPI 的L0 API整合并封装了业界流行的异构计算设备（如GPU，AI，FPGA等）及其软件框架（如CUDA，OpenCL），并提供统一的针对硬件资源访问的low-level API。这样，不同的硬件平台对上层应用开发来说是 透明的，从而起到了跨平台的作用。
L1 API：OneAPI的L1 API提供了一系列针对特定应用场景的High-level API,这些API主要服务于机器学习、数据分析、并行计算、视频处理等特定领域，有Deep Learning API, Data Science API, Data Analysis API，Multiple Thread API,video Processing API等。

Dollche

这个不错啊，学习了，谢谢楼主慷慨分享

dragongfly

不错啊，学习了，谢谢楼主慷慨分享