首页 > 代码库 > 2017.4.17 HDP和HDF
2017.4.17 HDP和HDF
作为相对于cloudera的CDH的另一个选择是hortonworks的HDP和HDF,HDF是针对物联网的套件,HDP是与CDH对应的大数据平台产品。
hortonworks的HDP和HDF将storm和kafka集成进大数据平台,可以进行统一监控管理。
网络上有两套参考实现,都提供了模拟的数据流。
并且官网上针对货车跟踪有一套方案https://hortonworks.com/hadoop-tutorial/realtime-event-processing-nifi-kafka-storm/,基于HDP
有源码https://github.com/hortonworks-gallery/iot-truck-streaming,该方案除了使用kafka到storm到hbase这一数据流外,
还在kafka之前增加了一个nifi模块,在hbase之上加了一个基于spark的Zeppelin模块,可以进行快速的分析并图表化显示结果。就是项目比较老,不适合产品使用。
在github上有个基于HDF的货车跟踪参考实现https://github.com/orendain/trucking-iot,使用最新版本的HDF。使用的模块是nifi,kafka,storm,且提供了web展示。
有docker镜像可供演示,文档清晰,代码使用的是scala。
尝试搭建HDP,没有什么问题。
2017.4.17 HDP和HDF
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。