首页 > 代码库 > kafka参数配置详解
kafka参数配置详解
broker.id | broker的唯一标识符,如果不配置则自动生成,建议配置且一定要保证集群中必须唯一,默认-1 |
log.dir | 日志数据存放的目录,默认/tmp/kafka-logs |
log.dirs | 日志数据存放的目录,如果没有配置则使用log.dir,建议此项配置。 |
zookeeper.connect | Zookeeper主机地址,如果zookeeper是集群则以逗号隔开,如:172.6.14.61:2181,172.6.14.62:2181,172.6.14.63:2181 |
listeners | 监听列表,多个以逗号隔开,如果监听器名称不是一个安全的协议, listener.security.protocol.map也必须设置。主机名称设置0.0.0.0绑定所有的接口,主机名称为空则绑定默认的接口。如:PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093 |
advertised.listeners | 给客户端用的发布至zookeeper的监听,如果和上面的listeners不同则以此为准,在IaaS环境,此配置项可能和 broker绑定的接口主机名称不同,如果此配置项没有配置则以上面的listeners为准。 |
auto.create.topics.enable | 是否自动创建topic,默认true |
auto.leader.rebalance.enable | 是否自动leader平衡,一个后台线程定时检查并在必要时触发leader平衡。默认true |
background.threads | 用于各种后台处理任务的线程的数量,默认10 |
compression.type | 为指定topic指定最终的压缩类型,配置接受标准的压缩算法(gzip、snappy、lz4),默认producer |
delete.topic.enable | 是否可以删除topic,如果关闭此配置项则通过管理工具删除topic则不起效。默认false |
leader.imbalance.check.interval.seconds | 控制器触发分区再平衡检测的频率,默认300 |
leader.imbalance.per.broker.percentage | 每个broker允许的不平衡leader的比率,不平衡leader的比率大于此值控制器就会触发leader平衡操作。默认10 |
log.flush.interval.messages | 分区日志刷至磁盘的大小阈值,单位字节。默认为long类型的最大值,谨慎设置。 |
log.flush.interval.ms | 消息刷至磁盘的最大时间,单位毫秒。如果不设置此项则使用log.flush.scheduler.interval.ms |
log.flush.offset.checkpoint.interval.ms | 用于更新日志恢复点持久记录的频率,默认60000 |
log.flush.scheduler.interval.ms | 检测日志是否需要刷至磁盘的频率,单位毫秒,默认long类型的最大值 |
log.retention.bytes | 日志被删除前的最大大小,即日志保留的最大大小,默认-1 |
log.retention.hours | 日志文件删除之前保留的时间(单位小时),默认168 |
log.retention.minutes | 日志文件删除之前保留的时间(单位分钟),如果没有设置则使用log.retention.hours |
log.retention.ms | 日志文件删除之前保留的时间(单位毫秒),如果没有设置则使用log.retention.minutes |
log.roll.hours | 在新日志段展开之前的最大时间(单位小时) |
log.roll.ms | 在新日志段展开之前的最大时间(单位毫秒) |
log.segment.bytes | 单个日志文件的大小,默认1073741824 |
log.segment.delete.delay.ms | 日志文件在删除之前保留的时间,默认60000 |
message.max.bytes | 服务器接受单个消息的最大大小,默认1000012 |
min.insync.replicas | 当生产者acks的值设置为all或者-1的时候,此配置项为消息副本的最小成功数量,如果成功数量没有达到此值则生产者就会抛出异常,默认1。 |
num.io.threads | 做I/O任务线程的数量 |
num.network.threads | 服务器处理网络请求的线程的数量 |
num.recovery.threads.per.data.dir | 在启动时恢复日志和关闭时刷盘日志时每个数据目录的线程的数量,默认1 |
num.replica.fetchers | 从源头broker抽取消息用于复制的线程的数量。增大此值可以提高从broker的I/O平衡度。默认为1 |
offset.metadata.max.bytes | 和提交的偏移量有关的元数据项的最大值,默认4096 |
offsets.commit.required.acks | 消息提交并被接受前必须的acks,通常默认-1,不要修改此值。 |
offsets.commit.timeout.ms | 偏移量会被延迟直到所有的复制都接受此偏移量或者超时此值,和生产者请求超时相似,默认5000 |
offsets.load.buffer.size | 批量加载偏移量到缓冲的批量大小,默认5242880 |
offsets.retention.check.interval.ms | 检测偏移量的频率,默认600000 |
offsets.retention.minutes | 话题偏移量日志保留窗口时间,单位分钟,默认1440 |
offsets.topic.compression.codec | 偏移量话题压缩解码器,压缩可用于自动提交,默认0 |
offsets.topic.num.partitions | 偏移提交主题的分区数量(部署后不应该再修改),默认50 |
offsets.topic.replication.factor | 偏移量话题的复制因子(设置更高保证可用),为了保证有效的复制,偏移话题的复制因子是可配置的,在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小, 否则要么话题创建失败,要么复制因子取可用broker的数量和配置复制因子的最小值。默认3 |
本文出自 “埃文” 博客,请务必保留此出处http://wenshengzhu.blog.51cto.com/5151285/1922975
kafka参数配置详解
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。