首页 > 代码库 > storm 0.9.2单机性能测试
storm 0.9.2单机性能测试
最近在使用storm做了一下数据处理性能测试。
Topology结构:spout输出80万数据(csv格式);bolt1解析csv,拆分各信息段;bolt2按bolt1中某个字段汇总,累加记数后入库(入库触发频率:60s)。
并行度配置:spout task(1)executor(3);bolt1 excutor/task(16); bolt2 excutor/task(8);
workers(8);storm slot(8)
硬件配置:8CPU ,16G memory
处理性能大概1W5/s。
测试过程中发现些问题,耽误了一些时间。
storm ui 0.9.2版本在显示Topology Summary时有bug,worker与excutor数量值写反了。可以通过storm list在命令行中进行验证。
strom在进行任务分发时有时会出现连接超时,异常原因不明:
2014-09-22 13:18:34 b.s.m.n.Client [INFO] Reconnect started for Netty-Client-ip-61/ip:6703... [11] 2014-09-22 13:18:35 b.s.m.n.Client [INFO] Reconnect started for Netty-Client-ip-62/ip:6703... [12] 2014-09-22 13:18:35 b.s.m.n.Client [INFO] Reconnect started for Netty-Client-ip-61/ip:6703... [12]结论:
storm中worker为处理进程,excutor为worker下线程,执行task任务,task为具体实例对象(spout/bolt)。发现性能不足时可通过调整并行度、slot个数、worker个数来提升性能。
storm 0.9.2单机性能测试
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。