首页 > 代码库 > hadoop入门：hadoop使用shell命令总结

hadoop入门：hadoop使用shell命令总结

2024-07-24 23:27:51   219人阅读

第一部分：Hadoop Bin
后面根据项目的实际需要Hadoop Bin  包括:
Hadoop  hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
     HADOOP_HOME（hadoop的安装目录）。
     HADOOP_CONF_DIR（hadoop的配置文件目录）。HADOOP_SLAVES（--hosts指定的文件的地址）
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh    启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh  启动HDFS
start-jobhistoryserver.sh
start-mapred.sh  启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin  包括:
Hadoop  hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
     HADOOP_HOME（hadoop的安装目录）。
     HADOOP_CONF_DIR（hadoop的配置文件目录）。
     HADOOP_SLAVES（--hosts指定的文件的地址）
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh    启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh  启动HDFS
start-jobhistoryserver.sh
start-mapred.sh  启动MapReduce
来进行调整。
stop-all.sh   停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh   停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分：Hadoop Shell 基本操作

nHadoop shell
  包括:

  1. namenode -format     format the DFS filesystem
  2. secondarynamenode    run the DFS secondary namenode
  3. namenode             run the DFS namenode
  4. datanode             run a DFS datanode
  5. dfsadmin             run a DFS admin client
  6. mradmin              run a Map-Reduce admin client
  7. fsck                 run a DFS filesystem checking utility
  8. fs                   run a generic filesystem user client
  9. balancer             run a cluster balancing utility
  10. fetchdt              fetch  delegation token from the NameNode
  11. jobtracker           run the MapReduce job Tracker node
  12. pipes                run a Pipes job
  13. tasktracker          run a MapReduce task Tracker node
  14. historyserver        run job history servers as a standalone daemon
  15. job                  manipulate MapReduce jobs
  16. queue                get information regarding JobQueues
  17. version              print the version
  18. jar <jar>            run a jar file
  19. distcp <srcurl> <desturl> copy file or directories recursively
  20. archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  21. classpath            prints the class path needed to get the
  22.                            Hadoop jar and the required libraries
  23. daemonlog            get/set the log level for each daemon
  24. or
  25. CLASSNAME            run the class named CLASSNAME
复制代码

推荐文章：
Hadoop Shell命令字典（可收藏）

文章转自：http://www.aboutyun.com/thread-6742-1-1.html

 

hadoop入门：hadoop使用shell命令总结


联系
我们