本文为本人原创，首发到炼数成金 http://f.dataguru.cn/thread-138720-1-1.html。

情况是这样的，我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群，相信很多人也跟我差不多，所以现在把我的低配置集群经验拿出来写一下好了。

我的配备：1）五六年前的赛扬单核处理器2G内存笔记本 2）公司给配的ThinkpadT420，i5双核处理器4G内存（可用内存只有3.4G，是因为装的是32位系统的缘故吧。。。）

就算是用公司配置的电脑，做出来三台1G内存的虚拟机也显然是不现实的。企业笔记本运行的软件多啊，什么都不做空余内存也才不到3G。所以呢，我的想法就是：

用我自己的笔记本（简称PC1）做Master节点，用来跑Jobtracker,Namenode 和SecondaryNamenode；用公司的笔记本跑两个虚拟机（简称VM1和VM2），用来做Slave节点，跑Tasktracker和Datanode。这么做的话，就需要让PC1，VM1和VM2处于同一个网段里，保证他们之间可以互相连通。

网络环境：我的两台电脑都是通过一个无线路由上网。

构建跟外部的电脑同一网段的虚拟机配置过程：

准备工作：构建一个集群，首先前提条件是每台服务器都要有一个固定的IP地址，然后才可能进行后续的操作。所以呢，先把我的两台笔记本电脑全部设置成固定IP（注意，如果像我一样使用无线路由上网，那就要把无线网卡的IP设置成固定IP）。用来做Master节点的PC1:192.168.33.150，用来跑虚拟机的宿主笔记本：192.168.33.157。目标：VM1和VM2的IP地址分别设置成192.168.33.151和152。

步骤：

1）新建VM1虚拟机。

2）打开VM1的网卡设置界面，连接方式选Bridge。（桥接）

关于桥接的具体信息，可以百度一下。我们需要知道的，就是用桥接的方式，可以让虚拟机通过本机的网关来上网，所以就可以跟本机处于同一个网段，互相之间可以进行通信。

3）我用的是VMware Workstation8，就以他为例：菜单Edit——VirtualNetwork Editor。

4）选择WMnet0（这个是VMware安装时默认预留出来为桥接这种连接方式做的一个配置文件），然后点击下面的bridgedto，就是要连接到哪个网卡上，要通过哪个网卡来上网。我不确定什么原因，我这里原先选择的是自动，但是不可以正常上网，所以手动选，选择连接到网络的那块网卡就可以了。（比如我的是无线网卡连路由器上网的，所以这里就选我自己的无线网卡就好）

5）然后，点击OK。进入系统内部，设置IP地址为固定IP：192.168.33.151。我使用图形界面设置的，很方便。设置界面如下图：

6）现在就可以互相ping一下了。如果可以ping通，那就说明互相连上了。

如果不能，那就ifconfig查看一下各自的IP是否设置成功了，是否需要重新连接，之类的。

按照这个步骤来，应该是没什么问题的。。。如果有哪些地方不明白或者设置出问题的，可以告诉我，互相交流看看。

SSH设置：

虚拟机设置好之后就可以设置SSH了。当然在这之前要先建立好账户，三台服务器都建立一个相同的账户。

Ubuntu默认是没有SSH server的（CentOS默认可以选择安装上），所以按照老师视频里设置好SSHKey之后是不可能互相SSH到的。（可以通过各种命令验证，比如telnetlocalhost 22来验证到底本机上的22端口有没有程序在监听，显示连接失败的话那当然就是SSH Server没有设置咯。或者通过netstat–ano | grep ssh之类的命令来查看。）

关于SSH的安装，貌似现在OpenSSH是属于Linux系统上实际的SSH实现标准了，Ubuntu也可以很方便的安装OpenSSH。

sudo apt-get installopenssh-server

一行命令就够了。装完之后telnet试试先，可以验证是否安装成功。

然后再按照老师视频里面的办法，生成公私密钥，把公钥全部聚在一起传播到每台服务器上。就可以实现无密码登陆了。

注意！在authorized_key放到指定位置之后，千万要手动SSH到所有的节点上一次！

比如像我的，要从PC1输入命令：ssh <VM1 IP>和ssh <VM2IP>来手动SSH到另外的所有节点上一次，看到是否要信任目标主机的提示后，输入yes，然后这才算是真的设置完成了。这是一个必要的操作，只有这样才可以把其他所有server都添加到本机的信任列表里，才能真的实现无任何提示的免密码登入。

否则，在启动其他节点上的守护进程时会显示无法连接到对应的节点，无法启动之类的提示。

这样的话，我的低配置集群环境就大概准备好了。

那接下来就是配置Hadoop了。

关于Hadoop的配置，我的想法：这么大个集群，肯定得有个同步的机制吧，不然每次改一下配置文件就需要在所有的节点上改一次，那得是多大的工作量啊。。。。。。于是，看了一下权威指南教材269页开始的配置，确实是有这个配置的。此外还有一些配置是老师没有讲到的，也一并以我自己的理解和实践为例，写出来吧。

主要的配置文件其实就是hadoop-env.sh和core-site.xml，hdfs-site.xml和mapred-site.xml。

先看看hadoop-env.sh：

首先，配置JAVA_HOME。这个不用说了，从oracle下载最新的gz包直接解压，设置好路径就好。

然后这些配置我觉得非常有用：

export HADOOP_HEAPSIZE=400

#这个是用来设置分配给守护进程的内存空间的。守护进程其实也全部都是Java进程，可以通过这个来设置JVM的Heapsize。我这里设置的是400MB。默认的是1000MB。

正好也说一下我的设计。因为我的是低配置的，所以如果全部都按照默认的设置来，比如我自己的那台2G笔记本上跑Jobtracker，Namenode和SecoundaryNamenode，每个进程分配1000M，那如果真的是有大量的数据进来了，分配的这个内存空间就会被充满，到时候我的电脑绝对崩溃。

所以，我的设计方案如下：

我的老笔记本（2G内存）：Jobtracker：400M，Namenode：800M，SecondaryNamenode：800M。（照我的理解，Namenode对内存和IO进行集中的管理，所以是需要大量的空间来运作的）

虚拟机VM1和2（每台1.2G内存）：Tasktracker：400M，Datanode：400M，然后Tasktracker开启的Map任务和Reduce任务子进程各1个，每个分配200M内存。

个人感觉这样至少电脑不会爆掉吧。。。。。。等到以后真的开始进行数据处理的时候再看看怎么个情况吧，现在也只是根据自己粗浅的认识来这么配置的。

export HADOOP_NAMENODE_OPTS="-Xmx800m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"

export HADOOP_SECONDARYNAMENODE_OPTS="-Xmx800m -Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"