首页 > 代码库 > 使用pymysql插入语句时对execute与executemany两个方法进行测速
使用pymysql插入语句时对execute与executemany两个方法进行测速
这两天,在写一个python小程序的时候突然大发奇想了一下,觉得可以测试一下pymysql包里面的execute()与executemany()的速度,executemany()实质上就是将数组中的元素一个个取出来然后一条条的执行,可以查看executemany()的源码为:
def executemany(self, query, args): """Run several data against one query PyMySQL can execute bulkinsert for query like 'INSERT ... VALUES (%s)'. In other form of queries, just run :meth:`execute` many times. """ if not args: return m = RE_INSERT_VALUES.match(query) if m: q_values = m.group(1).rstrip() assert q_values[0] == '(' and q_values[-1] == ')' q_prefix = query[:m.start(1)] return self._do_execute_many(q_prefix, q_values, args, self.max_stmt_length, self._get_db().encoding) self.rowcount = sum(self.execute(query, arg) for arg in args) return self.rowcount这是pymysql中的源码,实际上执行的还是execute()方法。
然后再进行测试:
先测试executemany()方法的速度,以插入一万条数据来进行测试,源码为:
#!/usr/bin/python #coding:utf-8 import pymysql import time conn=pymysql.connect(host='localhost',user='root',password='XXXXX') pymysql.charset='gbk' cur=conn.cursor() conn.select_db('contacts') values=[] for i in range(10000): value=http://www.mamicode.com/(str(i),'xiaxuan')>花费时间为:四秒左右,然后进行execute()方法的测试,源码为:
#!/usr/bin/python #coding:utf-8 import time import pymysql conn=pymysql.connect(host='localhost',user='root',password='xxxxxx',db='contacts') cur=conn.cursor() values=[] for i in range(10000): value=http://www.mamicode.com/(str(i),'xiaxuan')>花费的时间为:花费的时间长一点,五秒左右,这个时候突然脑残了一下,把上面的程序中的conn.commit()写在了for循环里面,进行了测试,时间为:
时间为将近10分钟了,好吧我承认是先搞的这个测试,然后再做的上面哪一个测试,每一次都进行了提交,这个速度不是一般的慢啊。
总体上,executemany()方法比上execute()方法在插入一万条数据时快将近一秒钟,我又测了下10万条数据,发现execute()为59秒,executemany()为51秒,也只是快了八秒左右,也就是在executemany()方法中没有进行多少性能的优化,但是如果数据量很大,这个时间应该会节省很多。基本上,就是这样。
使用pymysql插入语句时对execute与executemany两个方法进行测速
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。