Hadoop 命令手册

1、 用户命令

1.1       archive

1.1.1         什么是Hadooparchives

Hadoop的归档文件，每个文件以块方式存储，块的元数据存储在名称节点的内存里，此时存储一些小的文件，HDFS会较低效。因此，大量的小文件会耗尽名称节点的大部分内存。(注意，相较于存储文件原始内容所需要的磁盘空间，小文件所需要的空间不会更多。例如，一个1 MB的文件以大小为128 MB的块存储，使用的是1 MB的磁盘空间，而不是128 MB。)

Hadoop Archives或HAR文件，是一个更高效的将文件放入HDFS块中的文件存档设备，在减少名称节点内存使用的同时，仍然允许对文件进行透明的访问。具体说来，Hadoop Archives可以被用作MapReduce的输入。

1.1.2         如何使用archive

Hadoop Archives通过使用archive工具根据一个文件集合创建而来。这些工具运行一个MapReduce作业来并行处理输入文件，因此我们需要一个MapReduce集群去运行使用它。HDFS中有一些我们希望归档的文件：

% hadoop fs -lsr /my/files  <p>-rw-r--r--    1 tom supergroup      1 2009-04-09 19:13 /my/files/a </p><p>drwxr-xr-x   - tom supergroup      0 2009-04-09 19:13 /my/files/dir </p><p>-rw-r--r--    1 tom supergroup      1 2009-04-09 19:13 /my/files/dir/b 
</p>

现在我们可以运行archive指令：

% hadoop archive -archiveName files.har /my/files /my 

第一个选项是归档文件名称，这里是file.har。HAR文件总是有一个.har扩展名，这是必需的，具体理由见后文描述。接下来把文件放入归档文件。这里我们只归档一个源树，即HDFS下/my/files中的文件，但事实上，该工具接受多个源树。最后一个参数是HAR文件的输出目录。让我们看看这个归档文件是怎么创建的：

% hadoop fs -ls /my  
Found 2 items  
drwxr-xr-x    - tom supergroup      0 2009-04-09 
19:13 /my/files  
drwxr-xr-x    - tom supergroup      0 2009-04-09 
19:13 /my/files.har  
% hadoop fs -ls /my/files.har  
Found 3 items  
-rw-r--r--    10 tom supergroup    165 2009-04-09
19:13 /my/files.har/_index  
-rw-r--r--    10 tom supergroup     23 2009-04-09
19:13 /my/files.har/_masterindex  
-rw-r--r--     1 tom supergroup      2 2009-04-09
19:13 /my/files.har/part-0 

这个目录列表展示了一个HAR文件的组成部分：两个索引文件和部分文件的集合(本例中只有一个)。这些部分文件包含已经链接在一起的大量原始文件的内容，并且索引使我们可以查找那些包含归档文件的部分文件，包括它的起始点和长度。但所有这些细节对于使用har URI方案与HAR文件交互的应用都是隐藏的，HAR文件系统是建立在基础文件系统上的(本例中是HDFS)。以下命令以递归方式列出了归档文件中的文件：

% hadoop fs -lsr har:///my/files.har  
drw-r--r--    - tom supergroup       0 2009-04-09
19:13 /my/files.har/my  
drw-r--r--    - tom supergroup       0 2009-04-09 
19:13 /my/files.har/my/files  
-rw-r--r--   10 tom supergroup       1 2009-04-09 
19:13 /my/files.har/my/files/a  
drw-r--r--    - tom supergroup       0 2009-04-09 
19:13 /my/files.har/my/files/dir  
-rw-r--r--   10 tom supergroup       1 2009-04-09 
19:13 /my/files.har/my/files/dir/b 

如果HAR文件所在的文件系统是默认的文件系统，这就非常直观易懂。但如果想使用在其他文件系统中的HAR文件，就需要使用一个不同于正常情况的URI路径格式。以下两个指令作用相同，例如：

% hadoop fs -lsr har:///my/files.har/my/files/dir  
% hadoop fs -lsr har://hdfs-localhost:8020/my/files.har/my/files/dir 

注意第二个格式，仍以har方案表示一个HAR文件系统，但是是由hdfs指定基础的文件系统方案，后面加上一个横杠和HDFS host(localhost)和端口(8020)。我们现在算是明白为什么HAR文件必须要有.har扩展名了。通过查看权限和路径及.har扩展名的组成，HAR文件系统将har URI转换成为一个基础文件系统的URI。在本例中是hdfs://localhost:8020/user/tom/files.har。路径的剩余部 分是文件在归档文件中的路径：/user/tom/files/dir。

要想删除一个HAR文件，需要使用删除的递归格式，因为对于基础文件系统来说，HAR文件是一个目录。

% hadoop fs -rmr /my/files.har 

1.2       Distcp

递归地拷贝文件或目录。参考http://hadoop.apache.org/docs/r1.0.4/cn/distcp.html

1.3       fs

1.3.1         cat

查看hadoop某一个文件内容

[hadoop@hmaster input]$ hadoop fs -cat /user/hadoop/input/example1/file2
2012-3-1 b
2012-3-2 a
2012-3-3 b

1.3.2         chgrp

改变文件所属的组

[hadoop@hmaster input]$ 
hadoop fs -chgrp hadoop /user/hadoop/input/example1/file2

1.3.3         chmod

修改文件的权限

[hadoop@hmaster input]$
hadoop fs -chmod -R 667 /user/hadoop/input/example1/file2

1.3.4         chown

修改文件的所属用户和所属组

[hadoop@hmaster input]$
hadoop fs -chown hadoop:hadoop/user/hadoop/input/example1/file2

1.3.5         copyFromLocal

将本地文件复制到HDFS中

[hadoop@hmaster input]$
hadoop fs -copyFromLocal empty.txt/user/hadoop/input/example1/empty.txt

1.3.6         copyToLocal

将HDFS中的文件复制到本地

[hadoop@hmaster input]$ 
hadoop fs -copyToLocal
/user/hadoop/input/example1/file1 /home/hadoop/file1

1.3.7         du

显示所有文件大小或一个文件大小

[hadoop@hmaster input]$
hadoop fs –du /user/hadoop/input/example1/file1

1.3.8         dus

显示文件夹大小

[hadoop@hmaster input]$
hadoop fs –dus /user/hadoop/input/example1/file1

1.3.9         expunge

清空回收站

[hadoop@hmaster input]$
hadoop fs –expunge

1.3.10      get

复制文件到本地文件系统, 可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息

[hadoop@hmaster input]$

hadoop fs –get

/user/hadoop/input/example1/file1 /home/hadoop/file1

1.3.11      getmerge

使用方法：hadoop fs -getmerge <src> <localdst> [addnl]

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。

[hadoop@hmaster input]$

Hadoop fs -getmerge

/user/hadoop/input/example1/ /home/hadoop/view.txt

1.3.12      ls

使用方法：hadoop fs -ls <args>

如果是文件，则按照如下格式返回文件信息：
文件名 <副本数> 文件大小修改日期 修改时间 权限 用户ID 组ID
如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：
目录名 <dir> 修改日期修改时间 权限 用户ID 组ID

[hadoop@hmasterinput]$

Hadoop fs –ls /user/hadoop/input/example1/file1

1.3.13      lsr

使用方法：hadoop fs -lsr <args>
ls命令的递归版本。类似于Unix中的ls -R。

[hadoop@hmaster input]$

hadoop fs –lsr /user/hadoop/input/

1.3.14      mkdir

使用方法：hadoop fs -mkdir <paths>

接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

[hadoop@hmaster input]$

hadoop fs –mkdir /user/hadoop/input/testdir/testfold/

1.3.15      moveFromLocal

和copyFromLocal一样的意思，将本地文件复制到HDFS中

[hadoop@hmaster input]$

hadoop fs –moveFromLocal local.txt /user/hadoop/input/example/

1.3.16      mv

使用方法：hadoop fs -mv URI [URI …] <dest>

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

[hadoop@hmaster input]$

hadoop fs –mv

/user/hadoop/input/example1/file1/user/hadoop/input/example2/file1

1.3.17      put

使用方法：hadoop fs -put <localsrc> ... <dst>

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

[hadoop@hmaster input]$

hadoop fs -put localfile /user/hadoop/hadoopfile

1.3.18      rm

使用方法：hadoop fs -rm URI [URI …]

删除指定的文件。只删除非空目录和文件。

[hadoop@hmaster input]$

hadoop fs -rm localfile/user/hadoop/hadoopfile

1.3.19      rmr

使用方法：hadoop fs -rmr URI [URI …]

delete的递归版本。
[hadoop@hmasterinput]$

hadoop fs -rmr /user/hadoop/dir

1.3.20      setrep

使用方法：hadoop fs -setrep [-R] <path>

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

[hadoop@hmaster input]$

hadoop fs –setrep –w 3 –R /user/hadoop/input/example1

1.3.21      stat

使用方法：hadoop fs -stat URI [URI …]

返回指定路径的统计信息。

返回该文件夹或者文件的创建时间

[hadoop@hmasterinput]$

hadoop fs –stat /user/hadoop/input/example1

1.3.22      tail

使用方法：hadoop fs -tail [-f] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项(动态监控文件增长数据)，行为和Unix中一致。

[hadoop@hmaster input]$

hadoop fs –tail /user/hadoop/input/example1/file1

1.3.23      test

使用方法：hadoop fs -test -[ezd] URI

选项：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。

[hadoop@hmaster input]$

hadoop fs–test –e /user/hadoop/input/example1/file1

hadoop fs –test –z /user/hadoop/input/example1/file1

hadoop fs –test –d /user/hadoop/input/example1/file1

1.3.24      text

使用方法：hadoop fs -text <src>

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

[hadoop@hmaster input]$

hadoop fs –text /user/hadoop/input/example1/file1.zip

1.3.25      touchz

使用方法：hadoop fs -touchz URI [URI …]

创建一个0字节的空文件。

[hadoop@hmaster input]$

hadoop fs –touchz /user/hadoop/input/example1/newfile

1.4       fsck

Usage: DFSck <path> [-move | -delete | -openforwrite][-files [-blocks [-locations | -racks]]]
       <path>            检查这个目录中的文件是否完整

       -move              破损的文件移至/lost+found目录
       -delete            删除破损的文件

       -openforwrite   打印正在打开写操作的文件

       -files                打印正在check的文件名

       -blocks             打印block报告 （需要和-files参数一起使用）

       -locations         打印每个block的位置信息（需要和-files参数一起使用）

       -racks               打印位置信息的网络拓扑图 （需要和-files参数一起使用）

1.5       jar

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar <jar> [mainClass] args...

[hadoop@hmaster input]$

hadoop jar /usr/joe/wordcount.jarorg.myorg.WordCount

/usr/joe/wordcount/input  /usr/joe/wordcount/output

1.6       job

用于和Map Reduce作业交互和命令。

用法：hadoop job [GENERIC_OPTIONS] [-submit<job-file>] | [-status <job-id>] | [-counter <job-id><group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id><from-event-#> <#-of-events>] | [-history [all]<jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] |[-fail-task <task-id>]

1.7       pipes

运行pipes作业。

用法：hadoop pipes [-conf <path>] [-jobconf <key=value>,<key=value>, ...] [-input <path>] [-output <path>] [-jar <jarfile>] [-inputformat <class>] [-map <class>] [-partitioner<class>] [-reduce <class>] [-writer <class>] [-program<executable>] [-reduces <num>]

1.8       version

打印版本信息。

用法：hadoop version

1.9       CLASSNAME

hadoop脚本可用于调调用任何类。

用法：hadoop CLASSNAME

运行名字为CLASSNAME的类。

2、 管理命令

2.1   Balancer

运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程

用法：hadoop balancer [-threshold <threshold>]

2.2   Daemonlog

获取或设置每个守护进程的日志级别。

用法：hadoop daemonlog -getlevel <host:port> <name>
用法：hadoop daemonlog -setlevel <host:port> <name><level>

2.3    datanode

运行一个HDFS的datanode。

用法：hadoop datanode [-rollback]

2.4   dfsadmin

运行一个HDFS的dfsadmin客户端。

用法：hadoop dfsadmin [GENERIC_OPTIONS] [-report][-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade][-upgradeProgress status | details | force] [-metasave filename] [-setQuota<quota> <dirname>...<dirname>] [-clrQuota<dirname>...<dirname>] [-help [cmd]]

2.5   Jobtracker

运行MapReduce job Tracker节点。

用法：hadoop jobtracker

2.6   Namenode

运行namenode。有关升级，回滚。

用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] |[-importCheckpoint]

2.7   secondarynamenode

运行HDFS的secondary namenode。参考SecondaryNamenode了解更多。

用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

2.8   tasktracker

运行MapReduce的task Tracker节点。

用法：hadoop tasktracker

Hadoop命令手册