基于FPGA的压缩算法加速实现

dragongfly

基于 FPGA 的压缩算法加速实现
( }: r0 u0 q# Z8 y& _; m1 \2 V& k第一部分 设计概述 /Design Introduction
- N! l: D% F3 O: ?0 H2 q- D1.1设计目的
本设计中，计划实现对文件的压缩及解压，同时优化压缩中所涉及的信号处理和计算密集型功能，实现对其的加速处理。本设计的最终目标是证明在充分并行化的硬件体系结构 FPGA 上实现该算法时，可以大大提高该算法的速度。我们将首先使用C语言进行代码实现，然后在Vivado HLS中综合实现，并最终在FPGA板（pynq-z2）上进行硬件实现，同时于jupyter notebook中使用python来进行功能验证。
为使代码可综合同时又需要较少的硬件，我们已进行了许多改进，包括以下方面：
将所有浮点变量进行量化处理，量化为Q16.16定点，以简化算术运算。与定点相反，浮点型变量需要更多的硬件来执行某些操作。
将余弦矩阵实现为8×8查找表，从而消除了对昂贵的CORDIC引擎的需求。
* U6 b) N* Z" A0 {在顶层封装时选用AXILITE接口，用于将文件从处理器传输给FPGA并读回。这是PS端和PL端进行数据传输所必须的功能。
3 S& n6 |& D; _  m在各个功能函数分别进行流水线化，展开循环和内联功能，以最大程度地减少延迟并最大程度地提高吞吐量。

0 Q/ Y* Y( o# @/ z4 T( v7 j2 O% ?* _1.2 掌握技能
. ~$ J( s# H/ k. p, z' a) ^: }在本项目中，学习到了如下：
学习gzip的文件格式，及deflate压缩算法。能够使用deflate算法对文件进行压缩处理，同时将其封装为gzip型文件。
学习了hls和python语言的使用。能够通过hls进行相关的IP核开发，同时能够使用python语言来对pynq-z2进行调试。
学习了vivado的使用核功能实现。能够灵活利用HLS和vivado来进行功能开发。

7 x) C* C$ a; t1.3 应用方向
随着大数据时代来临，大量信息需要通过互联网进行传输，占用的网络资源急剧增加，给网络传输带来极大的压力。数据压缩技术能够节约数据存储空间、传输时间和带宽，从而缓解传输压力。无损压缩 Gzip 是目前最常用的一种压缩工具，被广泛应用在网络资料的下载和数据备份等领域。其中开源代码 zlib 是 Gzip 算法最著名的实现版本，但因其算法本身计算量较大，导致压缩的数据吞吐率较低。
FPGA 在数据处理速度上有着通用处理器无法比拟的巨大优势，能够大大提升Gzip的处理速度，减小CPU的开销。
8 h, e1 T4 n2 Z5 q2 I+ V, z" H
1.5 作品展示
整体功能已经实现，能够在pynq z2上通过gzip压缩方式对txt文件或大段字符串进行压缩。具体展示如图1，左侧是在hls仿真是产生的结果，右侧是通过jupyter notebook在pynq z2上进行调试的结果，两者是一致的，压缩功能能够正常运行。图2是jupyter notebook上部分python代码。
: \& {6 a, k' a0 z/ L, {$ o7 z9 o

9 L, Y2 O0 i2 A# e% D& y第二部分 系统组成及功能说明 /System Construction & Function Description
  U7 @8 E: e" ?2.1 系统的功能实现
& C4 j# ]1 u/ j+ w本设计中，在pynq-z2 FPGA平台上使用Gzip对文件进行了压缩算法的加速实现。整体分为两部分，硬件部分采用静态霍夫曼编码，使用deflate对文件进行压缩操作。Python模块将FPGA硬件的deflate输出进行封装，将其封装为gzip格式。

4 h" ^8 F- [8 f2.2 项目系统框图
系统结构框图如图3所示。


2.3 gzip的基本组成
Gzip 压缩是广泛使用的数据压缩方案，核心是 Deflate算法，主要包括 LZ77 编码和哈夫曼编码两大部分。

2.3.1 gzip文件头的基本组成
+ e7 a, w* e4 s: b文件头部分结构如图4：
2 X' S2 ?* n6 \0 L% F/ E) k; D( h
上面两个“+”之间的内容代表一个字节，所以上面除了MTIME使用四个字节之外，其他只占用一个字节。
ID1 和ID2（IDentification） ：这两个字节用于标识gzip文件，其中，ID1 = 31（0x1f，\037），ID2 = 139（0x8b，\213），如果判断某文件以这两个字节开头，那么可以初步认为这是gzip文件，但具体是不是，必须该文件格式完全符合gzip文件格式才行；
) O: e1 q' a# T0 Q+ pCM （CompressionMethod）：该字段用于标识当前gzip压缩文件内部的压缩结果所使用的压缩方法，取值范围[0,8]，其中，[0,7]保留，目前只用8，即gzip使用deflate压缩方法；
FLG （FLaGs）：标记位，该标记位中的每一比特分别代表后面对应扩展位是否存在，各比特位含义不在此处列举；
$ v1 `9 d/ k+ ?* O3 a: D1 b+ d3 wMTIME （ModificationTIME）：该字段给出了被压缩的原始文件最近被修改的时间。该时间使用Unix格式，即，自1970年1月1日0时起到现在的秒数。
* g: d; a0 ^9 n7 E8 X3 u3 A1 L8 S5 QXFL （eXtraFLags）：该字段是用来记录gzip文件中所使用的压缩方法，由于当前gzip只使用一种压缩算法，即deflate，所以针对deflate，该字段有如下含义，
& P% @; w- M  j- t6 Y: `XFL= 2 – 压缩率最大但是压缩速度最慢（的那个压缩级别）；
, }$ X( h6 n6 K. I+ d  ~. w) @XFL= 4 – 最快的压缩（级别）；
0 w' w5 @% k. X% M# @* b& b% YOS （OperatingSystem）：该字段表示执行压缩操作的文件系统。该字段用于识别和确定确定文本文件的行结束标志。

Crash

数据压缩后，还能进行计算和处理吗，这听起来很厉害啊。

VIC56

厉害厉害，学习学习。笑嘻嘻