首页 > 代码库 > Hadoop single Node cluster

Hadoop single Node cluster

2024-07-02 02:29:57   221人阅读

目的：

本文描述怎么安装和配置一个单结点的Hadoop，以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);

先决条件：

支持的平台

  • GNU/Linux 可用作开发和生产平台. Hadoop 在2000台GNU/Linux 的集群上做过演示.
  • Windows 平台也是支持的， 下面的步骤仅对linux适用. 要在Windows上安装hadoop, 查看 wiki page.

所需软件：

在linux下，所需的软件如下:

  1. 必须安装JAVA. 推荐的JAVA版本请看 HadoopJavaVersions.
  2. 必须安装SSH， 并且sshd必须启动，Hadoop脚本用sshd来管理远程的Hadoop守护进程(daemons);

安装所需软件

如果你的集群上没有这些所需的软件， 那就需要先安装。

例如在Ubuntu linux上 :

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

下载

在 Apache Download Mirrors下载最新稳定的发布Hadoop版本

准备启动 Hadoop Cluster

解压下载的Hadoop包. 编辑文件 etc/hadoop/hadoop-env.sh 像如下一样修改配置:

  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest

  # Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop

执行下面命令:

  $ bin/hadoop

显示Hadoop脚本的使用文档.

Now you are ready to start your Hadoop cluster in one of the three supported modes:

  • Local (Standalone) Mode
  • Pseudo-Distributed Mode
  • Fully-Distributed Mode


联系
我们