首页 > 代码库 > 设置每个datanode里面的map数目,提高运行效率
设置每个datanode里面的map数目,提高运行效率
首先可以通过hdfs.site.xml下面的dfs.block.size来设置数据的块大小,这个参数会决定map的总数目(4194304=4m)
然后通过mapred.site.xml下面的mapreduce.map.memory.mb参数来设置每个map分到的内存数目。
通过yarn.sidt.xml下面的yarn.scheduler.minimum-allocation-mb来设置每个节点分配一个task所占用的内存数目,也就是说在一个8g内存的节点上面如果这个值设定的大于4个g,那么在同一时间只能运行一个task,也就是运行一个map,这样会导致效率低下,默认为1024=1G。
通过 hadoop fs -stat "%o %r" /file.txt可以查看文件的block size 和备份的数目
设置每个datanode里面的map数目,提高运行效率
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。