首页 > 代码库 > python3.5读取kafka中的数据

python3.5读取kafka中的数据

安装包 pykafka

代码如下:

from pykafka import KafkaClient


client = KafkaClient(hosts="test43:9092")
print(client.topics)
topic = client.topics[brokid]    #topic名称
consumer = topic.get_simple_consumer()
for record in consumer:
    if record is not None:
        valuestr = record.value.decode()   #从bytes转为string类型
        valuedict = eval(valuestr)
        message = valuedict["message"]
        fields = message.split("\u0001")
        for field in fields:
            kv = field.split("\u0002")
            if len(kv) == 2:
                print(kv[0],----,kv[1])
        print(-*100)

 

以上仅供开发测试使用,真正发布到线上需要多地方加固。。。

 

mark

python3.5读取kafka中的数据