首页 > 代码库 > Flume NG 简介及配置实战

Flume NG 简介及配置实战

2024-08-04 13:32:12   220人阅读

摘自：http://my.oschina.net/leejun2005/blog/288136

  • 1、Flume 的一些核心概念：
  • 1.1 数据流模型
  • 1.2 高可靠性
  • 1.3 可恢复性
  • 2、Flume 整体架构介绍
  • 2.1 Exec source
  • 2.2 Spooling Directory Source
  • 3、常用架构、功能配置示例
  • 3.1 先来个简单的：单节点 Flume 配置
  • 3.2 单节点 Flume 直接写入 HDFS
  • 3.3 来一个常见架构：多 agent 汇聚写入 HDFS
  • 3.3.1 在各个webserv日志机上配置 Flume Client
  • 3.3.2 在汇聚节点配置 Flume server
  • 4、可能遇到的问题：
  • 4.1 OOM 问题：
  • 4.2 JDK 版本不兼容问题：
  • 4.3 小文件写入 HDFS 延时的问题
  • 4.4 数据重复写入、丢失问题
  • 4.5 tail 断点续传的问题：
  • 4.6 在 Flume 中如何修改、丢弃、按预定义规则分类存储数据？
  • 5、Refer：

 

复制去Google翻译翻译结果
2.2后台打印目录源

Flume NG 简介及配置实战


联系
我们