开元棋牌源码对接
加入收藏  |  繁体中文  |  联系我们  
新闻资讯 ||  您的当前位置:首页 - 新闻动态 - 学术交流
通过预调度实现的低延迟的stream processing frameworks
发布时间:2019.03.15    新闻来源:ACM Transactions on Computer Systems   浏览次数:

摘要

为了满足实时处理的要求,人们开发了许多stream processing frameworks。其中,batched stream processing frameworks以其容错性、高吞吐量、统一的运行时间和批处理等特点受到广泛的推崇。在stream processing frameworks中,由于任务执行时间不均匀而产生的散乱现象被认为是延迟敏感型应用程序的主要障碍。现有的分散缓解技术,无论是被动的还是主动的,都是事后调度的方法,因此不可避免地会导致高资源开销或长的运行时间。我们注意到,stream processing处理作业通常具有可预测的特征。通过探索这种启发式的方法,我们提出了一个预先调度的散乱缓解框架,称为Lever。Lever首先识别潜在的散乱,并通过分析历史作业的执行信息来评估节点的能力。然后,在任务调度之前,小心地将作业输入数据预先调度到每个节点,以减轻潜在的散乱。我们实现了Lever,并将其贡献为Apache Spark流的扩展。实验结果表明,相比一种广泛采用的并且性能明显优于传统技术的stream processing系统Spark Streaming,Lever可以将作业完成时间减少30.72%到42.19%。

原文链接:https://www.computer.org/csdl/journal/td/2019/03/08444732/17D45XvMcel

 
栏目导航 NAVIGATION
中山大学  |  广东省计算科学重点实验室  |  广东省计算数学学会  |  开元棋牌假吗_开元棋牌源码对接_开元棋牌的玩法
 
网站首页  |  关于我们  |  入会流程  |  招聘中心  |  联系我们    Copyright  2019  www.gdhpcs.org  开元棋牌假吗_开元棋牌源码对接_开元棋牌的玩法  版权所有  
地址(ADD):中国广东省广州市海珠区新港西路135号    联系电话(TEL):020-84110128   传真(FAX):020-84110128   E-mail:hpcoffice@gdpcs.org   ICP备案编号:粤ICP备13069133号-1