首页 > 代码库 > Hue

Hue

      Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库、Postgresql数据库、以及Oracle数据库

目录:

  • 功能介绍  (演示地址: http://gethue.com/)
  • 安装部署
  • Azure 安装CDH

功能介绍


  • HDFS的访问,通过浏览器来查阅HDFS的数据
  • Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能
  • 提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard
  • 提供Impala的应用进行数据交互查询
  • 最新的版本集成了Spark编辑器和DashBoard
  • 支持Pig编辑器,并能够运行编写的脚本任务
  • Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle
  • 支持HBase对数据的查询修改以及可视化
  • 支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog
  • 对Job的支持,Sqoop,ZooKeeper等的支持

安装部署


  • 安装配置过程参见:http://cloudera.github.io/hue/docs-3.6.0/manual.html
  • hue支持广,依赖多,系统环境有所缺失安装就比较麻烦,如make时会自建一个虚拟的运行环境,导致与系统默认有所偏差,造成编译安装过程遇到一些问题
  • 最简单的安装方式当然是使用CDH的RPM包,但是就要用到CDH的一整套集群环境,毕竟这在已有集群的情况下不太合理,可行性低

Azure 安装CDH


  1. Go to https://ms.portal.azure.com
  2. Click on resource groups on the left navigation bar
    • 技术分享
  3. Enter a name for your resource group, pick the subscription and availability region and click on “create”.This will create a resource group that we will use in the cluster setup
    • 技术分享
  4. Click on “New”, then on “Data + Analytics” and then on “Cloudera Enterprise Data Hub”
    • 技术分享
  5. In the blade that opens up, under “Select deployment model”, click on “Resource Manager”, the click “Create”
    • 技术分享
  6. In the blade that opens, click on “Basics, Configure basic settings”;  Here, enter the following: User name (Linux user)\password....
    • 技术分享
  • Next, click on “Inftrastructure information”;  See screenshot below for where you can customize, and where to leave defaults.
    • 技术分享
  • Next, click on “Cloudera setup information”;  Here, enter the following:  Cloudera Manager User Name \ Password \ Cluster Type (two options – POC and Production) \ Number of data nodes
  • Click on user information, enter some details about yourself.
  • Click on “Buy” and then create.  This will provision the cluster.
  •  Step away for a long break; At the time this post was written, it took more than an hour.  You can monitor the progress from the portal.

Nodes and Roles


  • In the setup, we entered 3 data nodes, and selected Production,The following are the nodes and the roles running on them:
  • 技术分享
  • 技术分享
  • 技术分享

Connecting to the cluster


  • 技术分享

 

 

 

Hue