首页 > 代码库 > Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse环境

Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse环境

2024-07-28 23:56:32   220人阅读

 下在相关软件：

（需要根据系统是32位还是64位选择软件的版本：jdk和eclipse。本人机器内存4G，安装64位虚拟机系统非常卡，建议虚拟机安装32位版本，实体机可以安装64位）

HADOOP：http://mirrors.hust.edu.cn/apache/hadoop/common/

JDK：　　  http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

TOMCAT：http://tomcat.apache.org/download-80.cgi

 ECLIPSE：http://www.eclipse.org/downloads/

（JSE是标准版、JEE是企业版，eclipse下载JEE，jdk下载JSE）

安装虚拟机

Vmware+Ubuntu14.04-32

用户名：sunny

机器名：SUNNYPC

硬盘大小：128G(至少大于20G）

安装完之后，

更新源sudo apt-get update

安装sudo apt-get install vim

下面假定计算机用户名：sunny

将下载好的软件复制到/home/sunny/Downloads目录下：

 

打算将jdk安装到系统目录下：/usr/local/lib下

将hadoop、tomcat、eclipse安装到用户目录下：/home/sunny/usr/下

[说明：安装非常简单就是解压到相应的目录下，主要是设置目录权限和配置文件]

添加root用户：

sudo passwd root

输入密码即可。

修改机器名：

sudo gedit /etc/hostname

改为:MASTERPC

sudo  gedit /etc/hosts

将SUNNYPC改为：MASTERPC

重启生效。

安装JDK

cd /usr/local/lib/su roottar -zxvf /home/sunny/Downloads/jdk-7u71-linux-x64.tar.gz

  (注：这里sunny用户的目录要写完整，~会跑到root用户的目录中去)

ls -l

修改文件夹的所属用户和用户组（root:root），文件夹权限（755root用户可读可写可执行，其他用户可读可执行）, 将jkd路径配置到系统环境变量中.

chown root:root -R jdk1.7.0_71/chmod 755 -R jdk1.7.0_71/gedit /etc/profile

export JAVA_HOME=/usr/local/lib/jdk1.7.0_671
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

. /etc/profilesu sunny java -version

 

（注意：jdk版本更新较快，上面配置命令中jdk的路径一定要根据自己的文件夹名称进行跟改，包括下面hadoop中的java_home）

如果 java -version 显示的不对，首先检查是否. /etc/profile，上面的路径是否配置正确了，然后如果系统中已经安装了多个版本的jdk

就配置一下默认的jdk：

sudo update-alternatives --install /usr/bin/java java /usr/local/lib/jdk1.7.0_71/bin/java 300   （默认java，执行javasudo update-alternatives --install /usr/bin/javac javac /usr/local/lib/jdk1.7.0_71/bin/javac 300 （默认javac，编译java）sudo update-alternatives --list java  （显示系统中的 jdk）

 

安装Hadoop、Tomcat、eclipse

cd ~/usrtar -zxvf ../Downloads/hadoop-1.2.1.tar.gztar -zxvf ../Downloads/eclipse-jee-luna-SR1-linux-gtk.tar.gztar -zxvf ../Downloads/apache-tomcat-8.0.14.tar.gz

 

 

可以发现上面文件夹的权限和用户用户组都是正确的，也可以通过命令手工修改。

配置hadoop：

-安装ssh

sudo apt-gt install sshcd ~ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost

 一路回车，输入密码，以后ssh就可以自动登陆了。

-配置hadoop

进入到~/usr/hadoop-1.2.1/conf

 

core-site.xml:<configuration>    <property>        <name>fs.default.name</name>        <value>hdfs://localhost:9000</value>    </property></configuration>------------------------------------------------------mapred-site.xml:<configuration>    <property>        <name>mapred.job.tracker</name>        <value>localhost:9001</value>    <property></configuration>-------------------------------------------------------hdfs-site.xml:<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration>-------------------------------------------------------hadoop-env.sh:export JAVA_HOME=/usr/local/lib/jdk1.7.0_71

配置成单机伪分布式时，主机名为localhost，而不能是MASTERPC，因为通过ifconfig可见没有MASTERPC的回环地址127.0.1.1只有localhost的127.0.0.1.

localhost或者MASTERPC因改根据自己的实际情况进行更改

格式化namenode文件系统

cd ~/usr/hadoop-1.2.1/

bin/hadoop namenode -format

开启服务：

cd ~/usr/hadoop-1.2.1/bin

./start-all.sh

查看启动的节点：

jps

查看系统运行：

在浏览器中输入localhost:50070

 测试例子：

cd ~/usr/hadoop-1.2.1

./bin/hadoop fs -put  README.TXT readme.txt

可以发现系统自动在hdfs文件系统中建立文件夹：/usr/sunny,并生成文件/usr/sunny/readme.txt

（可以通过浏览器中localhost:50070 点击Browse the filesystem查看,也可以直接在eclipse中reconnect Hadoop查看）

 

./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount readme.txt output
执行完毕后，会自动生成hdfs的/home/sunny/output/part-r-00000文件

使用如下命令查看结果：

./bin/hadoop fs -cat output/part-r-00000

配置tomcat:

待续

配置eclipse：

在/home/sunny目录下建立workspace/eclipse目录作为eclipse的工作目录。

到/home/sunny/usr/eclipse双击打开eclipse，选择刚才的工作目录。

-for hadoop

 配置eclipse的hadoop应用开发环境：

  1.  需要将hadoop中的eclipse插件放到eclipse下的plugins目录中，但是新版本的hadoop都需要自己编译插件，也可以从网上下载别人已经编译好的。
  2.  window -> show view -> other 选择Map/Reduce Tools，单击ecilpse右下部选项卡上的蓝色大象，编辑hadoop-site文件系统的位置
  3. 在编辑界面中，位置名随便起，左边的MR 和右边的 DFS分别用来配置job tacker和分布式文件系统的主机和端口，应该与hadoop的配置文件对应。

->->->->

配置完成之后开启hadoop服务，就可以在eclipse中查看DFS文件系统中的文件了。

->

测试hadoop：

新建Map/Reduce Project，在use default hadoop 右面点击配置hadoop安装路径。

在Project Explore窗口中src右键新建WordCount类，包名org.apache.hadoop.examples,输入如下代码：

（参见：/home/sunny/usr/hadoop-1.2.1/src/examples/org/apache/hadoop/examples/WordCount.java)

编译成功之后，运行代码，由于main运行时需要参数，所以右键->Run As->Run Configration->Java Application->WordCount->Arguments

（运行程序之前删除hdfs://user/sunny/output目录，如果这个存在）

配置完成后点击Run按钮下三角 ， 选择Run On Hadoop，OK，运行完毕之后，DFS图标右键reconnect可以看见output下生成的文件。

-for tomcat

 配置ecilpse的web开发环境：

 server版本和路径配置：

 winow->preference->server->run time environment->add->(选择tomcat版本)->(自己安装的tomcat根路径）+（自己的jdk版本）

返回eclipse界面，右下角找到servers选项卡，点击新建server,(修改主机名,选择版本)->finish

这样server选项卡就可以使用了，可以启动关闭tomcat，右键添加工程等。

新建web工程：

file->new->dynamic web->(工程名，tomcat版本，dynamic web module sersion=2.5)->finish

servers选项卡中右键add and remove将自己建立的web工程添加进来。

（有时候从别处拷的程序配置tomcat目标版本可能与自己的环境不一样，在工程右键->properties->server选择tomcat目标版本）

在工程的->WebContent右键 添加html文件：

输入：

<!DOCTYPE html><html>    <head>        <meta charset="UTF-8">        <title>Insert title here</title>    </head>    <body>	<h1>Hello world!</h1>    </body></html>

 点击运行，run on server，会自动启动tomcat，打开浏览器：

至此一台虚拟机的配置就结束了。

-------------------------------------------------------------------------------------------------------------------------------------------------------

（待验证）

对于多台机器的配置，复制虚拟机到多台机器上，网络方式设置为桥接，将从节点的主机名按照SLAVEPC+NUM的形式改名。

  1. 配置好个各机器的ip地址，然后将机器名和对应的ip都写到/etc/hosts文件中，sudo gedit /etc/hosts(各台机器同步修改，以后添加新的slave也是）
  2. 修改hadoop-1.2.1/conf目录下的文件，将之前的localhost都改成MASTERPC，master文件：MASTERPC，slaves文件：自己添加的所有slave机器（同步修改）
  3. 在MASTERPC中生成的ssh密钥的公钥复制到slave机器中（authorized_keys）
  4. 每次更改了节点组成后，多需要namenode -format一下。

Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse环境


联系
我们