首页 > 代码库 > 使用pymysql插入语句时对execute与executemany两个方法进行测速

使用pymysql插入语句时对execute与executemany两个方法进行测速

这两天,在写一个python小程序的时候突然大发奇想了一下,觉得可以测试一下pymysql包里面的execute()与executemany()的速度,executemany()实质上就是将数组中的元素一个个取出来然后一条条的执行,可以查看executemany()的源码为:

 def executemany(self, query, args):
        """Run several data against one query

        PyMySQL can execute bulkinsert for query like 'INSERT ... VALUES (%s)'.
        In other form of queries, just run :meth:`execute` many times.
        """
        if not args:
            return

        m = RE_INSERT_VALUES.match(query)
        if m:
            q_values = m.group(1).rstrip()
            assert q_values[0] == '(' and q_values[-1] == ')'
            q_prefix = query[:m.start(1)]
            return self._do_execute_many(q_prefix, q_values, args,
                                         self.max_stmt_length,
                                         self._get_db().encoding)

        self.rowcount = sum(self.execute(query, arg) for arg in args)
        return self.rowcount
这是pymysql中的源码,实际上执行的还是execute()方法。

然后再进行测试:

先测试executemany()方法的速度,以插入一万条数据来进行测试,源码为:

#!/usr/bin/python
#coding:utf-8
import pymysql
import time
conn=pymysql.connect(host='localhost',user='root',password='XXXXX')
pymysql.charset='gbk'
cur=conn.cursor()
conn.select_db('contacts')
values=[]
for i in range(10000):
    value=http://www.mamicode.com/(str(i),'xiaxuan')>花费时间为:

技术分享

四秒左右,然后进行execute()方法的测试,源码为:

#!/usr/bin/python
#coding:utf-8
import time
import pymysql
conn=pymysql.connect(host='localhost',user='root',password='xxxxxx',db='contacts')
cur=conn.cursor()
values=[]
for i in range(10000):
    value=http://www.mamicode.com/(str(i),'xiaxuan')>花费的时间为:

技术分享

花费的时间长一点,五秒左右,这个时候突然脑残了一下,把上面的程序中的conn.commit()写在了for循环里面,进行了测试,时间为:

技术分享

时间为将近10分钟了,好吧我承认是先搞的这个测试,然后再做的上面哪一个测试,每一次都进行了提交,这个速度不是一般的慢啊。

总体上,executemany()方法比上execute()方法在插入一万条数据时快将近一秒钟,我又测了下10万条数据,发现execute()为59秒,executemany()为51秒,也只是快了八秒左右,也就是在executemany()方法中没有进行多少性能的优化,但是如果数据量很大,这个时间应该会节省很多。基本上,就是这样。

使用pymysql插入语句时对execute与executemany两个方法进行测速