面向大数据处理的高精度多维计数布鲁姆过滤器

senlenced3 · 发表于 2021-1-14 11:01

EDA365欢迎您登录！

您需要登录才可以下载或查看，没有帐号？注册

x

本帖最后由 senlenced3 于 2021-1-14 11:02 编辑

摘要：分析了现有多维布鲁姆过滤器查询算法的工作原理和特点，针对大数据处理特点提出了一种基于双射
函数的高精度多维计数布鲁姆过滤器（ＡＭＤＣＢＦ）查询算法．ＡＭＤＣＢＦ中元素表示和查找分两步进行，第１步将元素各
属性哈希映射到各自对应的高精度计数布鲁姆过滤器（ＡＣＢＦ）中；第２步将元素的所有属性通过双射函数转换为一个
值来表示元素整体信息，然后将这个值哈希映射到联合计数布鲁姆过滤器中（ＣＣＢＦ），完成元素整体的表示和查询确
认．理论分析和仿真实验结果表明，ＡＭＤＣＢＦ能够支持多维集合元素的高效表示和查询及删除，相比同类研究查询假
阳性降低明显，查询精度大幅度提高．
关键词：大数据处理；多维布鲁姆过滤器；双射函数；高精度计数布鲁姆过滤器；假阳性

未来的十年将是一个大数据引领的时代．大数据有三个典型特征：（１）数据结构复杂，元素属性多维化．如数字城市中空间数据具有三维坐标、地形等多维属性；网络Ｔｒａｃｅ海量数据包具有源ＩＰ、目的ＩＰ、协议等多维属性；（２）数据价值密度低．价值密度的高低与数据总量的大小成反比．以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒；（３）数据动态变化更新快．如何在快速变化的海量数据中通过高精度的数据查询算法迅速地完成数据的价值 “提纯”，成为有效进行大数据处理过程中极具挑战性的问题．
[size=11.7736px]附件下载：

游客，如果您要查看本帖隐藏内容请回复

weqewq · 发表于 2021-1-14 13:14

大数据处理

帐号		自动登录	找回密码
密码			注册

[毕业设计] 面向大数据处理的高精度多维计数布鲁姆过滤器

EDA365欢迎您登录！

浏览过的版块

推荐内容 /1