首页 > 代码库 > tachyon with hadoop
tachyon with hadoop
hadoop2.2.0 jdk1.7 tachyon0.5.0 无zookeeper
tachyon和hadoop都是伪分布式模式
1.修改core-site.xml文件
<property> <name>fs.tachyon.impl</name> <value>tachyon.hadoop.TFS</value></property>
2.配置hadoop-env.sh
在hadoop-env.sh文件中添加Tachyon客户端jar包路径的环境变量
export HADOOP_CLASSPATH=/home/hadoop/tachyon-0.5.0-bin/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar
3.启动hadoop集群
sbin/start-dfs.shsbin/start-yarn.sh4.启动tachyon
tachyon-start.sh local
5.执行MR作业
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount -libjars /home/hadoop/tachyon-0.5.0-bin/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar tachyon://hadoop:19998/test/passwd tachyon://hadoop:19998/out
6.查看结果
tachyon tfs cat /out/part-r-00000
tachyon with hadoop
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。