支持可扩展的并行分布式流处理系统

reasonant-j

摘 要： 数据流处理系统，无论是集中式还是分布式，都需要克服单点瓶颈问题．不仅如此，如果数据流处理系 统是静态配置的，那么还会出现处理节点供给不足或者过剩的情况，为此本文提出了一种支持可扩展的并行分布式数 据流处理系统—流水行云，该系统根据有状态算子将查询拓扑划分为并行处理的子查询，并且通过有状态算子的分发 器和收集器实现了数据流的保序，同时最大化减少并行处理的通信开销，不仅如此，结合负载均衡和重配置的可扩展 技术使得该系统能够根据输入负载动态调整处理节点的负载和个数．６０个节点组成的集群的实验证明了该系统的可 扩展能力．

关键词： 流处理系统；可扩展；有状态算子；负载均衡；重配置
) Q/ F8 ^0 H& f+ c


! d+ V+ x& ]! o% E  ~1 h大数据时代已经到来，其中典型的 ３个特点就是： 规模性，多样性和高速性［１］，同时，大数据的处理模式也 正从批处理向流处理发生转变［２］．值得注意的是，分布 式的流处理系统和集中式的流处理系统都会碰到单点 瓶颈问题，针对这个问题，不少工作已经提出了相应的 解决方案［３，４］，总体来看，它们可以被分为两类，一类是 以减少时间复杂度为宗旨的解决方案，另一类是以减少 空间复杂度为宗旨的解决方案．前者的典型代表是卸载 技术［５］，当节点的处理能力无法满足当前的处理负载 时，卸载技术会通过丢弃部分待处理的数据来降低这个 节点的处理负载，至于哪部分数据被丢弃则取决于该数 据对查询结果的影响度．后者的典型代表包括概要技 术，直方图技术和小波变换技术［６］，这些技术通过多个 元组的聚合查询的近似结果来减少存储开销。


. o8 ^: ^+ c- B& F* L+ Y附件下载:

游客，如果您要查看本帖隐藏内容请回复

/ k6 W5 k  q2 Z9 k- a6 h( S

silenced

负载均衡