首页 > 代码库 > 2017.4.17 HDP和HDF

2017.4.17 HDP和HDF

作为相对于cloudera的CDH的另一个选择是hortonworks的HDP和HDF,HDF是针对物联网的套件,HDP是与CDH对应的大数据平台产品。

hortonworks的HDP和HDF将storm和kafka集成进大数据平台,可以进行统一监控管理。

网络上有两套参考实现,都提供了模拟的数据流。

并且官网上针对货车跟踪有一套方案https://hortonworks.com/hadoop-tutorial/realtime-event-processing-nifi-kafka-storm/,基于HDP

有源码https://github.com/hortonworks-gallery/iot-truck-streaming,该方案除了使用kafka到storm到hbase这一数据流外,

还在kafka之前增加了一个nifi模块,在hbase之上加了一个基于spark的Zeppelin模块,可以进行快速的分析并图表化显示结果。就是项目比较老,不适合产品使用。

在github上有个基于HDF的货车跟踪参考实现https://github.com/orendain/trucking-iot,使用最新版本的HDF。使用的模块是nifi,kafka,storm,且提供了web展示。

有docker镜像可供演示,文档清晰,代码使用的是scala。

尝试搭建HDP,没有什么问题。

2017.4.17 HDP和HDF