首页 > 代码库 > 零基础学习 Hadoop 如何下手

零基础学习 Hadoop 如何下手

想学习hadoop,可是苦于自己没有任何的基础,不知道该如何下手,也不知道自己能不能学会。其实零基础学习hadoop,没有想象的那么困难。曾经我也是一位小白,刚接触到云计算,想过培训,但是培训机构的选择也让我很纠结,就自己开始去摸索学习,现在我把自己的学习思路整理一下,希望对大家有帮助。

                             技术分享

首先整体说一下学习过程给大家借鉴:

一、了解hadoop

这里不具体阐述概念,有兴趣的同学可以自己上网去查。我们知道hadoop,有单机安装,伪分布安装和分布安装。同时hadoop的环境是Linux,所以我们还需要安装Linux系统。因为我们的习惯是使用windows,所以对于Linux上来就安装软件之类的,困难度很大。并且我们要搭建集群,需要多台硬件的,不可能为了搭建集群,去买三台电脑。从成本和使用我们需要懂虚拟化方面的知识。这里的虚拟化其实就是我们需要懂得虚拟机的使用。因为hadoop安装在Linux中,才能真正发挥作用。所以我们也不会使用windows。基于以上内容。所以我们需要懂得:1.虚拟化   2.Linux   3.java基础

二、详细介绍

(一).虚拟化
首先了解虚拟机网络分为三种:
1briage桥接模式全都需要手工配置,而且这里还需要明白自己是本机拨号上网,还是路由拨号上网。
2host-only创建一个与网内其他机器相隔离的虚拟系统
3nat虚拟系统无法和本局域网中的其他真实主机进行通讯

这些都不适合我们的hadoop集群。hadoop要求主机与虚拟机与网络,这三者都是通的,在安装的过程中,才不会遇到麻烦,所以这就是虚拟化方面的困难。
下面总结了在虚拟化方面需要做的:

1.明白为什么虚拟化,虚拟化的价值

2.明白虚拟机的三种网络模式

3.掌握搭建集群的知识

上面的知识具备了我们开始动手:
第一步:下载软件VMwareWorkstation 10.0.0简体中文正式版官方下载
第二步:下载我们就需要安装和使用
在这里我们安装完毕虚拟机,安装完毕Linux,我们需要返回第一步,进行网络设置。但是在网络设置中,我们会遇到各种各样的困难,因为缺乏Linux知识。
同时这里补充一些虚拟化的基础知识:

1)、虚拟网卡概述

2)、VMware虚拟机网络设置方法 

3)、虚拟机(Linux操作系统)三种网络模式切换遇到的问题

(二).Linux
1)、Linux基础知识
对于Linux的学习也是一个过程,因为可能你连最简单的开机和关机命令都不会,更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。
首先我们需要使用一些命令,进行网络配置,但是在网络配置中,这里面又必须懂得虚拟机的一些知识,所以前面的虚拟机知识需要掌握扎实一些。
对于网络配置:
集群搭建:主机宽带拨号上网,虚拟机使用桥接模式,该如何ping通外网
集群搭建必备:虚拟机之一实现Host-only方式上网
集群搭建必备:nat模式设置静态ip,达到上网与主机相互通信
其实还是上面三个,但是我们会遇到各种不会的命令,即使能查到命令,我们也不能使用。为什么会这样,因为各种有的命令,是需要使用安装包的。我们在配置网络过程中,同样会遇到各种各样的奇怪的配置。在我们的Linux的系统,不能找到文件。这里只举ubuntu。网络配置文件/etc/network/interfaces。我们配置完毕之后,有各种网络重启方式:
技术分享

这是一种网络重启方式,但是有时候并不管用。
那么这时候我们遇到困难了,刚接触命令不起作用,该怎么办?
技术分享

下面都是经过实践的内容,也算是经验,大家可以参考:

1、云技术基础:学习hadoop使用零基础linux(Ubuntu)笔记
2
、搭建集群必知:Linux常用命令及修改文件总结(不断更新)

3Linux网络接口ifconfig命令及认识网络接口lo
4
linux入门详细介绍
5
、虚拟机安装linux网络配置资料大全
6
、解决遇到Linux网络配置,从熟悉网络配置文件入手
7linux入门大全:包括零基础入门,Linux详细介绍
8
Linux重启方式init 0init1 init 3 init 5 init 6 这几个启动级别都代表什么意思?
9
Ubuntu常用命令总结及修改DNS的多种方法总结
10
Linux关机各种关机命令总结
11
Linux基础必懂:eth0,eth1,eth2,lo是什么意思?
12
linuxpwd命令详解
13
linuxvi编辑器
14
linux yum命令详解
15
Linuxchkconfig命令详解

2)、Linux安装hadoop

要部署集群,首先需要安装java,然后安装hadoop。首先我们还是从零基础开始。
   
我们需要下载和本地电脑相匹配的jdk,是32位的下载32位,是64位的下载64位。这里我们从最简单的入手。在这过程中,可能遇到问题的是环境变量的配置,造成命令不能识别。而这里你需要学习新的Linux知识。不过如果前面你已经配置完网络,有了这个基础,在学习新的知识,压力明显变小了。
下面给大家分享一下,在Linux中如何安装Javahadoop
Hadoop
安装过程:Hadoop单机环境搭建权威指南(ubuntu
安装完毕,我们该怎么用,该怎么测试安装成功。
集群安装完毕,该如何测试和使用集群-hadoop单机
   
通过上面帖子,我们很容易安装完成,如果是刚熟悉Linux,需要补充下面知识,才能顺利完成。

linux
Java jdk环境变量的含义
linux(ubuntu)
安装Java jdk环境变量设置总结
Linux
source命令学习
linux
文件目录特殊符号的含义,总结以备以后查询

(三)JAVA语言

1)了解Java

Java包含下面三种

  • J2EE java企业版,主要用于web开发

  • J2SE java 标准版,主要用于WEB开发,但是缺少企业版的一些特性,一般情况下java下的应用都是指J2SE的开发。

  • J2ME java 微小版,主要用于手机等的开发

因此如果我们想处理、并展示数据,可以使用J2EE,更详细参考
hadoop开发--Java零基础之J2EEJ2SEJ2ME的区别

2JAVA使用

1.环境变量配置

对于惯用集成环境的开发者来讲,这有点不适应,比如.net,安装开发环境vs,直接开发就好了,为啥还需要配置环境变量。

环境变量可以让我们找到jdk的命令,这个或许.net的一点好处,就是都封装起来了。别的不用关心了。对于环境变量,我们需要配置java_home,path路径,更详细参考:

hadoop开发--Java零基础之开发工具环境变量配置

2.开发工具选择

开发工具有很多种,不同的人习惯不同,开发工具也不一样,这里列出个人认为比较常用:

1.eclipse

2.MyEclipse

3.maven

更多工具参考hadoop开发—Java零基础,开发选择什么开发工具比较合适

而其中maven可以和eclipse一起使用,也可以单独使用,后面开发中它还是比较常用的,比如我们下载hadoop源码,编译hadoop,都是需要maven来完成的。maven的学习可以参考

源码编译maven系列视频教程汇总

3.Java编译

Java可以一处编译处处运行,原因是因为jvm。编译后的效果,可以查看:

Java零基础,学习hadoop:为什么要编译Java源代码,编译后会有什么效果

4.如何打开Java项目

Java项目的开发,还是比较特别的,是通过导入的方式,折合其它比如.net项目,直接点击图标就能打开,Java项目,例如通过eclipseimport导入,详细参考:零基础教你如何导入Java项目到eclipse

5.Java资源下载:

上面补充了一些基本的知识,可能还不够全面,如果缺少这方面的知识,自己可以上网去查找相关视频文件。

    以上就是编者根据自己经验总结的一些学习方法,如果还有不清楚或者不明白的地方,可以自己找一些资料去补充,不断丰富和提升自己。这里可以推荐大家去查看微信服务号“大数据时代学习中心,里面有很多免费的视频共享资源,可以去下载学习,我本人感觉还不错,尤其是针对一些细节性的讲解都很清楚,希望对大家也有帮助。


本文出自 “11872756” 博客,谢绝转载!

零基础学习 Hadoop 如何下手