首页 > 代码库 > hadoop_hive_zookeeper_kafka_spark平台搭建

hadoop_hive_zookeeper_kafka_spark平台搭建

1. 搭建linux集群

一般在学习测试阶段最小的节点数是3个节点,因此在虚拟机中安装3个节点。我使用的虚拟机环境是VMware10,linux系统是64位 Centos 6.5 minimal版本。对于安装linux系统的过程就不在赘述了,网上有很多。安装好linux后,需要做好3件事:

  1. 修改主机名: 在/etc/sysconfig/network文件中修改
  2. 配置静态IP:
    技术分享
  3. 配置主机名和IP地址的映射关系
  4. 关闭防火墙
        技术分享
  5. 关闭Selinux

安装好一个节点后,可以通过完全克隆的方式生成其他两个节点,在这里着重叙述下新克隆出的节点如何修改IP地址的方法。

最后设置3个节点之间的无密钥登录,即ssh无密钥登录

2. 安装hadoop集群

 

 

hadoop_hive_zookeeper_kafka_spark平台搭建