首页 > 代码库 > 使用python向Redis批量导入数据
使用python向Redis批量导入数据
1.使用pipeline进行批量导入数据
class Redis_Handler(Handler): def connect(self): #print self.host,self.port,self.table self.conn = Connection(self.host,self.port,self.table) def execute(self, action_name): filename = "/tmp/temp.txt" batch_size = 10000 with open(filename) as file: try: count = 0 pipeline_redis = self.conn.client.pipeline() for lines in file: (key,value) = lines.split(',') count = count + 1 if len(key)>0: pipeline_redis.rpush(key,value.strip()) if not count % batch_size: pipeline_redis.execute() count = 0 #send the last batch pipeline_redis.execute() except Exception: print 'redis add error'
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。