首页 > 代码库 > Flume lzo压缩输出至 hadoop
Flume lzo压缩输出至 hadoop
1. Hadoop 支持lzo压缩依赖:
lzo:Unix/linux系统默认没有lzo的 库,因此需要安装,sudo yum install lzo-devel.x86_64
sudo yum install lzo.x86_64 sudo yum install lzop.x86_64
2. 准备maven,ant,gcc 等
3. 编译hadoop-lzo
从https://github.com/twitter/hadoop-lzo 下载,解压进入目录, mvn clean package
在 target 下 hadoop-lzo-0.4.20-SNAPSHOT.jar target/native/Linux-amd64-64/lib 下有 libgplcompression 库
jar包拷贝到hadoop lib目录下, gplcompression库拷贝到lib/native/Linux-amd64-64/lib下
在hadoop客户端或者各个节点,不需要都安装lzo库,可以直接把lzo库拷贝到 hadoop 下的 lib/native/Linux-amd64-64/lib下
总结:编译hadoop-lzo ,lzo-devl库同样不能少。
4. 修改hadoop 客户端配置文件(我们只需要在使用flume的机器上配置)
http://heylinux.com/archives/2078.html
Flume lzo压缩输出至 hadoop
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。