首页 > 代码库 > kafka知识点

kafka知识点

1. kafka的集群中,每一个节点叫做 broker。

2. 通过任一broker可以接入这个集群。

3. 一个topic有多个partition,但是partition不是副本集,如果你往topic里写了100条消息,那么所有partition的数据加起来才是这个100条。写的时候,你可以指定你要往哪个partition里写,这样,只有这个partition会收到消息,其他的partition不会收到消息。

4. 真正的副本集叫做replication,这才是真正的备份。

5. 一个broker可能不会存放所有的partition,这是内部细节部分,外部使用者不用去关心哪个broker存放了哪些partition,你只要通过任意一个broker接入这个kafka集群,那么寻找partition到底在哪个broker上,由kafka本身去完成就好了。

6. 读数据的时候需要指定【一个broker(或者一个brokerlist)】,【一个topic】,【一个partition】,【恩,还有一个offset】。

7. offset是什么呢,partition内部存放数据的格式可以相当于一个大数组,offset就是你要从什么地方开始读,跟基本上大部分情况下的下标惯例一样,这个下标也是从0开始的。

8. 再细节的部分可以看这个链接:kafka细节部分。

kafka知识点