首页 > 代码库 > 解决Hadoop一些小问题(整理版)
解决Hadoop一些小问题(整理版)
1 dfsadmin -setQuota的问题
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间
2 解决Hadoop小文件问题？
数据块的默认大小是64M，如果一个文件的大小小于64M，那么它就属于Hadoop的小文件。
这样会浪费空间，所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。
3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库，使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。
最好下载源码，一步一步编译源代码，得到最终编译后的文件。
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间
2 解决Hadoop小文件问题？
数据块的默认大小是64M，如果一个文件的大小小于64M，那么它就属于Hadoop的小文件。
这样会浪费空间，所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。
3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库，使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。
最好下载源码，一步一步编译源代码，得到最终编译后的文件。
解决Hadoop一些小问题(整理版)
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。