首页 > 代码库 > Flume NG 简介及配置实战
Flume NG 简介及配置实战
摘自:http://my.oschina.net/leejun2005/blog/288136
- 1、Flume 的一些核心概念:
- 1.1 数据流模型
- 1.2 高可靠性
- 1.3 可恢复性
- 2、Flume 整体架构介绍
- 2.1 Exec source
- 2.2 Spooling Directory Source
- 3、常用架构、功能配置示例
- 3.1 先来个简单的:单节点 Flume 配置
- 3.2 单节点 Flume 直接写入 HDFS
- 3.3 来一个常见架构:多 agent 汇聚写入 HDFS
- 3.3.1 在各个webserv日志机上配置 Flume Client
- 3.3.2 在汇聚节点配置 Flume server
- 4、可能遇到的问题:
- 4.1 OOM 问题:
- 4.2 JDK 版本不兼容问题:
- 4.3 小文件写入 HDFS 延时的问题
- 4.4 数据重复写入、丢失问题
- 4.5 tail 断点续传的问题:
- 4.6 在 Flume 中如何修改、丢弃、按预定义规则分类存储数据?
- 5、Refer:
复制去Google翻译翻译结果
2.2后台打印目录源
Flume NG 简介及配置实战
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。