|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
Gzip压缩的硬件加速电路设计 ! b6 Z+ \( |. E I, J7 y4 h, y
摘要:硬件无损压缩技术可以发挥专用电路的速度和功耗优势,被广泛应用于大数据计算以及通信领域.本文以GNUzip( Gzip)数据无损压缩技术为原型设计了一种硬件压缩电路.通过采用双Hash函数、并行匹配处理、面向硬件存储的IZ77压缩存储格式.高效数据拼接器等加速方法,发挥并行计算和流水线结构优势,提升压缩速率.该硬件压缩电路基于Verilog HDL 设计,使用现场可编程门阵列(FPCA)进行测试和验证.测试数据表明:与软件压缩方式相比,该硬件压缩电路在获得适中压缩率(65.9%)的同时,其压缩速率得到显著提升,平均压缩速率达171Mb/s ,满足网络通信、数据存储等实时压缩应用需求.# q9 t: m1 P }/ e- L. n0 n+ ]. b
关键词:无损压缩;Gzip;硬件;IZ77;FPGA
" @% Q# Q8 D, P0 [# O, y" a) |4 _3 ^, d3 y8 [, ]& n* p) H
1引言
+ F8 V, D$ _ y" [' \ y0 l" T! I数据无损压缩技术可节约存储空间、降低数据传输带宽需求1,且不影响数据重构质量,常以软件方式实现.该方式配置灵活,易获得较好的压缩率,但存在资源消耗多、功耗大,处理速率低等性能瓶颈,无法满足大数据环境下的实时压缩处理需求.3 [9 ^, A: D& K! |% k9 n0 r/ P
基于硬件的数据无损压缩实现方式,可充分利用其并行计算和流水线的性能优势,以很小的压缩率损失为代价获得极高的处理效率,同时几乎不占用上位机的运算、存储资源.因而被国内外院校和企业关注和研究[2.3];清华大学和百度公司使用分布式随机存储器(RAM)构成字典,基于定制的FPGA,实现了高速多通道的Gzip无损数据压缩";微软公司和华盛顿大学合作设计了新型LZ77算法的Hash 处理结构,取代了原有的链表结构,有效提升了Hash的处理效率[5l;滑铁卢大学完成了动态Huffman编码的硬件实现等工作,进一步提升了压缩率性能[6].3 e) @7 S$ J$ W9 M2 O
Gzip是一种基于字典[78]和嫡编码”的无损压缩方式.本文以提高数据压缩速率为主要目标,兼顾硬件资源消耗,使用双Hash 函数、并行匹配处理方法、面向硬件存储的LZ77压缩存储格式、高效数据拼接器等多8 q& z5 ^7 B1 f# d8 X' `% h1 @
3 n. J* j: B) i( s8 G- U. e, Y. J! w9 ]- D% n
; x/ r. M8 Q% M" u* b) m; q+ N! R |
|
/1 
发表于 2021-2-22 10:19
收藏
淘帖
支持！
反对！