HDFS文件操作

你可以把一个大数据集（100TB）在HDFS中存储为单个文件，而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理，你也不必考虑这些细节。

HDFS （Hadoop Distribution File System）文件系统到底是一个怎样的文件系统？

并不是一个Unix文件系统，不支持像ls和cp这种标准的Unix文件命令，也不支持如fopen()和fread()这样的标准文件读写操作。但是Hadoop提供了一套与Linux文件命令类似的命令行工具。

一个典型的Hadoop工作流是指？

1、在别的地方生成数据文件（如日志文件）再将其复制到HDFS中。

2、由MapReduce程序处理这个数据，读取HDFS文件并将之解析为独立的记录（键/值对）

3、除非要定制数据的导入与导出，否则你几乎不必编程来读写HDFS文件。

Hadoop文件命令采取的形式是？

hadoop fs -cmd <args>

cmd是具体的文件命令，而<args>是一组数目可变的参数。cmd的命名通常与UNIX对应的命令名相同。如，文件列表的命令为：hadoop fs -ls

Hadoop最常用的文件管理任务包括？

1、添加文件和目录

2、获取文件

3、删除文件

Hadoop文件命令可以和本地文件系统交互吗？

Hadoop的文件命令既可以与HDFS文件系统交互，也可以和本地文件系统交互。

URI定位是指？完整的URL格式是？

URL精确地定位一个特定文件或目录的位置。

完整的URL格式为scheme://authority/path. Scheme类似于一个协议它可以是hdfs或file、来分别指定HDFS文件系统或本地文件系统。

对于HDFS，authority是NameNode的主机名，而path是文件或者目录的路径。

对于在本地机器的9000端口上，以标准伪分布式模型运行的HDFS，访问用户目录user/chuck中文件example.txt的URI是什么？

hdfs://localhost:9000/user/chuck/example.txt

hadoop fs -cat hdfs://localhost:9000/user/chuck/example.txt

但是通常我们在使用Hadoop文件命令时没有指定URI中的scheme://authority部分

是怎么回事？

是的，大多数设置不需要指定URI中的scheme://authority部分

例如，当在本地文件系统和HDFS之间复制文件时

1、put命令将本地文件复制到HDFS中，源是本地文件，目的是HDFS文件

2、get命令将HDFS中文件复制到本地，源是HDFS文件，目的是本地文件。

如果未设置URI中的scheme://authority部分，就会采用Hadoop的默认配置fs.default.name属性的配置。

例如：conf/core-site.xml文件配置是：

<property>

       <name>fs.default.name</name>

       <value>hdfs://localhost:9000</value>

</property>

在此配置下，URI hdfs://localhost:9000/user/chuck/example.txt缩短为/user/chuck/example.txt

注：有些更早的文档以hadoop dfs -cmd <args>的形式表示文件工具。dfs和fs是等价的，但现在都是用fs

HDFS默认当前工作目录是？

HDFS默认当前工作目录为/user/$USER，其中$USER是你的登录用户名。

例：如果你作为chuck登录，则URI hdfs://localhost:9000/user/chuck/example.txt就缩短为example.txt。显示文件内容的Hadoop cat命令可写为：

hadoop fs -cat example.txt

如何在HDFS上添加文件和目录？

首先必须确保几点：

1、必须先进行格式化

2、出于学习目的，建议使用伪分布式

3、默认工作目录是/user/$USER，但这个目录不会自动创建，需要手动创建先

手动创建默认工作目录

hadoop fs -mkdir /user/chuck

Hadoop的mkdir命令会自动创建父目录，类似于UNIX中使用-p选项的mkdir命令，因此上述命令还会创建/user目录。

hadoop fs -ls / 该命令列出根目录下的所有文件和目录

hadoop fs -lsr / 该命令列出根目录下所有文件和子目录

hadoop fs -put example.txt . 将本地文件example.txt放入HDFS中。

后面的(.)，意味着把文件放入默认的工作目录，等价于

hadoop fs -put example.txt /user/chuck

hadoop fs -ls 列出工作目录下的所有文件和目录

使用hadoop fs -ls命令列出内容和复制因子

通常情况下会列出如下面这样的view

Found 1 items

-rw-r--r-- 1 chuck supergroup 264 2009-01-14 11:02 /user/chuck/example.txt

显示属性信息，其他的不解释和UNIX的概念类似。主要说一下"1"列出文件的复制因子。伪分布式下它永远为1，对于生产环境中的集群，复制因子通常为3，也可以是任何正整数，复制因子不适用于目录，所以该列会显示一个(-)

如何检索文件？

Hadoop的get命令与put命令相反，从HDFS中复制文件到本地文件系统。

比如hadoop fs -get example.txt 将它复制带本地的当前工作目录中。

hadoop fs -cat example.txt 也可以使用cat命令显示数据。

也可以使用管道命令 hadoop fs -cat example.txt | head

可以使用tail命令来查看最后的一千字节：

hadoop fs -tail example.txt

如何删除文件？

删除文件和空目录使用rm命令

hadoop fs -rm example.txt

如何查阅帮助？

hadoop fs (无参数) 来获取所用版本Hadoop的一个完整命令列表。

hadoop fs -help ls 显示每个命令的用法及简短描述。

HDFS的Java API？

虽然，命令行工具足以满足大多数与HDFS文件系统交互的需求，但是有些需求只能用Java API去访问，比如开发一个PutMerge程序，用于合并文件后放入HDFS中，命令行工具并不支持这个操作。

合并文件后放入HDFS中，什么时候会这样做呢？

考虑这样一个场景，需要分析来自许多Web服务器的Apache日志文件时，就有了建立这个例程的动机，虽然我们可以把每个日志文件都复制到HDFS中，但通常而言，Hadoop处理单个大文件会比处理许多个小文件更有效率。

为什么会日志数据会分散在多个文件？

这是由于Web服务器采用分布式架构所造成的。

一种解决办法是？为什么不直接合并？

一种解决办法是先将所有的文件合并，然后再复制到HDFS。可是，文件合并需要占用本地计算机的大量磁盘空间。如果我们能够在向HDFS复制的过程中合并它们就好了。

Hadoop命令行工具getmerge命令。

getmerge命令，用于把一组HDFS文件在复制到本地计算机之前进行合并，但我们想要的截然相反。我们是要putmerge命令。

Hadoop文件操作API是？

Hadoop中用作文件操作的主类位于org.apache.hadoop.fs软件包中，Hadoop的基本文件操作包括open、read、write和close，Hadoop的文件API也可以用于HDFS以外的其他文件系统。

Hadoop文件API的起点是FileSystem类，这是一个与文件系统交互的抽象类，存在不同的具体实现子类用于处理HDFS和本地文件系统。你可以通过调用factory方法FileSystem.get(Configuration conf)来得到所需的FileSystem实例。Configuration类是用于保留键/值配置参数的特殊类。它的默认实例化方法是以HDFS系统的资源配置为基础的。

如何得到一个FileSystem对象？

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);

要得到一个专用于本地文件系统的FileSystem对象，可以使用factory方法的FileSystem.getLocal(Configuration conf);

FileSystem local = FileSystem.getLocal(conf);

其他说明：

Hadoop文件API使用Path对象来编制文件和目录名，使用FileStatus对象来存储文件和目录的元数据。PutMerge程序将合并一个本地目录中的所有文件。我们使用FileSystem的listStatus()方法来得到一个目录中的文件列表：

Path inputDir = new Path(args[0]);

FileStatus[] inputFiles = local.listStatus(inputDir);

数组inputFiles的长度等于指定目录中的文件个数。在inputFiles中每一个FileStatus对象均有元数据信息，如文件长度、权限、修改时间等。PutMerge程序所关心的是每个文件的Path，即inputFiles[i].getPath()。我们可以通过FSDataInputStream对象访问这个Path来读取文件。

FSDataInputStream in = local.open(inputFiles[i].getPath());

byte buffer[] = new byte[256];

int bytesRead = 0;

while ( (bytesRead = in.read(buffer)) > 0) {

       ...

}

in.close();

FSDataInputStream是Java标准类java.io.DataInputStream的一个子类，增加了对随机访问的支持。类似地有一个FSDataOutputStream对象用于将数据写入HDFS文件：

Path hdfsFile = new Path(args[1]);

FSDataOutputStream out = hdfs.create(hdfsFile);

out.write(buffer, 0, bytesRead);

out.close();

Hadoop实战读书笔记（5）