首页 > 代码库 > 分布式的并行计算技术
分布式的并行计算技术
流计算:
Strom:针对“边达到边计算”的实时流计算框架,可在一个时间窗口上对数据流进行在线实时分析。
同样的还有Yahoo提出的S4系统。
批计算:
Hadoop:是一个提供分布式存储和计算的软件框架,它具有无共享、高可用、弹性可扩展的特点,非常适合处理海量数据。先存储再计算。
实时批计算:
Spark:是基于内存计算、支持快速迭代的的大数据并行计算框架。适用于一切的分布式处理方案。
Spark比MapReduce更加高效,数据处理速度更快。可以作为MapReduce的替代方案,并且兼容HDFS、Hive等分布式存储层,可以融入Hadoop的生态系统,以弥补MapReduce的不足。
图计算:
Pregel:面向图结构优化。
交互查询:
Dremel:快速交互查询。
分布式的并行计算技术
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。