TA的每日心情 | 开心 2020-8-28 15:14 |
---|
签到天数: 2 天 [LV.1]初来乍到
|
EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
本帖最后由 senlenced3 于 2021-1-14 11:02 编辑 ! U8 _+ y3 X2 l8 r3 G
+ _. {" d, T, I [# ^摘要: 分析了现有多维布鲁姆过滤器查询算法的工作原理和特点,针对大数据处理特点提出了一种基于双射) j2 L0 |, g6 ?9 f
函数的高精度多维计数布鲁姆过滤器(AMDCBF)查询算法.AMDCBF中元素表示和查找分两步进行,第 1步将元素各
+ [ I' v8 v6 ?属性哈希映射到各自对应的高精度计数布鲁姆过滤器(ACBF)中;第 2步将元素的所有属性通过双射函数转换为一个 . `8 R$ ~) F- b2 w: E6 R8 i
值来表示元素整体信息,然后将这个值哈希映射到联合计数布鲁姆过滤器中(CCBF),完成元素整体的表示和查询确
- p5 T) q' N9 i# q: z% o$ E认.理论分析和仿真实验结果表明,AMDCBF能够支持多维集合元素的高效表示和查询及删除,相比同类研究查询假
9 B: w5 M! {# |( ]8 ?. }阳性降低明显,查询精度大幅度提高.
" k' h0 }* o7 \# X% ~* ^关键词: 大数据处理;多维布鲁姆过滤器;双射函数;高精度计数布鲁姆过滤器;假阳性1 [. ?3 _* m6 `6 a- _/ a( b' t R8 ?
1 ]6 J$ |, Q1 }% j5 n" L& W* G, p8 C, G' [) G: I$ d
未来的十年将是一个大数据引领的时代.大数据有 三个典型特征:(1)数据结构复杂,元素属性多维化.如 数字城市中空间数据具有三维坐标、地形等多维属性; 网络 Trace海量数据包具有源 IP、目的 IP、协议等多维 属性;(2)数据价值密度低.价值密度的高低与数据总量 的大小成反比.以视频为例,一部一小时的视频,在连续 不间断监控过程中,可能有用的数据仅仅只有一两秒; (3)数据动态变化更新快.如何在快速变化的海量数据 中通过高精度的数据查询算法迅速地完成数据的价值 “提纯”,成为有效进行大数据处理过程中极具挑战性的 问题.
& o1 F) ?( g! {5 k3 E- W; z0 \7 U! ?[size=11.7736px]附件下载:; r2 y8 V$ P. w: E4 }. L& Y' u
' ]( i) J4 ?' @ |
|