转自：http://kaimingwan.com/post/alluxio/spark-on-alluxiohe-mr-on-alluxioce-shi-gai-jin-ban

• 1. 介绍
• 2. 准备数据
  • 2.1 清空系统缓存
• 3. MR测试
  • 3.1 MR without alluxio
  • 3.2 MR with alluxio
  • 3.3 问题补充
• 4. spark测试
  • 4.1 spark without alluxio
  • 4.2 spark with alluxio
• 5. 第一阶段实验总结
• 6. IO实验
  • 6.1 任务负载
  • 6.2 从HDFS中读取10G文件
  • 6.3 从HDFS中读取10G文件
• 7. 进一步尝试
  • 7.1 存储均衡处理
  • 7.2 使用MR JOB统计行数
  • 7.3 使用MR on alluxio统计行数
  • 7.4 总结

# 在alluxio上新建存放测试数据的目录
alluxio fs mkdir /linecount

# 按照块大小为64MB，生成10G的文本文件
dd if=/dev/urandom bs=64M count=160 of=10G.txt
#将测试文件放到alluxio内存空间
alluxio fs copyFromLocal 10G.txt /linecount
#再持久化到hdfs，持久化都会存放到HDFS的/alluxio目录下
alluxio fs persist /linecount/10G.txt

sudo sh -c ‘free && sync && echo 3 > /proc/sys/vm/drop_caches && free‘

Diagnostics: org.apache.commons.codec.binary.Base64.encodeBase64String([B)Ljava/lang/String;

public class RWHDFSTest {
   public static void main(String[] args) throws IOException {

        //统计时间
        System.out.println("程序开始时间戳信息："+new Date());
        final long startTime=System.currentTimeMillis();

        Configuration conf = initialConfig("KaimingWan", "hdfs://ns", "10.8.12.16");


        //设置需要访问的文件在HDFS上的URL
        String uri = "/alluxio/linecount/10G.txt";

        Path path = new Path(uri);

        normalFileReader(conf, path,uri);


        final long endTime=System.currentTimeMillis();
        float excTime=(float)(endTime-startTime)/1000;
        System.out.println("执行时间："+excTime+"s");
        System.out.println("当前时间为："+ new Date());


    }

        //读取任意格式数据
    public static void normalFileReader(Configuration conf,Path path,String uri)throws IOException {
        FileSystem fileSystem = FileSystem.get(URI.create(uri), conf);
        FSDataInputStream fsDataInputStream = fileSystem.open(path);

        //读取64MB字节读取
        byte[] buffer = new byte[67108864];
        //记录读取长度
        int len = fsDataInputStream.read(buffer);
        while (len != -1) {
            //System.out.write(buffer, 0, len);
            len = fsDataInputStream.read(buffer);
        }
    }
}

# 如果从本地文件系统拷贝过去，可以使用命令：
alluxio fs -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.RoundRobinPolicy copyFromLocal 10G.txt /linecount/10G.txt
# 如果从UFS上拷贝过去，可以使用命令
alluxio fs -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.RoundRobinPolicy load /linecount/10G.txt