首页 > 代码库 > 分布式的并行计算技术

分布式的并行计算技术

流计算:

  Strom:针对“边达到边计算”的实时流计算框架,可在一个时间窗口上对数据流进行在线实时分析。

  同样的还有Yahoo提出的S4系统。

批计算:

  Hadoop:是一个提供分布式存储和计算的软件框架,它具有无共享、高可用、弹性可扩展的特点,非常适合处理海量数据。先存储再计算。

实时批计算:

  Spark:是基于内存计算、支持快速迭代的的大数据并行计算框架。适用于一切的分布式处理方案。

  Spark比MapReduce更加高效,数据处理速度更快。可以作为MapReduce的替代方案,并且兼容HDFS、Hive等分布式存储层,可以融入Hadoop的生态系统,以弥补MapReduce的不足。

图计算:

  Pregel:面向图结构优化。

交互查询:

  Dremel:快速交互查询。

分布式的并行计算技术