首页 > 代码库 > python 对mongodb进行压力测试
python 对mongodb进行压力测试
最近对mongoDB数据库进行性能分析,需要对数据库进行加压。
加压时,最初采用threading模块写了个多线程程序,测试的效果不理想。
单机读数据库每秒请求数只能达到1000次/s.而开发的java程序请求数能达到6000-7000次/s。
证明受限于GIL,python的多线程表现确实不理想。
后来,采用了multiprocessing模块,采用多进程的方式进行加压。
经过测试证明,multiprocessing的性能还是不错,和开发java程序的性能相当。
脚本如下:
#!/usr/bin/env pythonfrom pymongo import Connection,MongoClient,MongoReplicaSetClientimport multiprocessingimport time#connection = MongoClient(‘mongodb://10.120.11.212:27017/‘)#connection = Connection([‘10.120.11.122‘,‘10.120.11.221‘,‘10.120.11.212‘], 27017)‘‘‘数据库采用了读写分离设置,连接mongoDB的模式要配对‘‘‘connection=MongoReplicaSetClient( ‘10.120.11.122:27017,10.120.11.221:27017,10.120.11.212:27017‘, replicaSet=‘rs0‘, read_preference=3# read_preference=3 )db = connection[‘cms‘]db.authenticate(‘cms‘, ‘cms‘)#计时器def func_time(func): def _wrapper(*args,**kwargs): start = time.time() func(*args,**kwargs) print func.__name__,‘run:‘,time.time()-start return _wrapper#插入测试方法def insert(num): posts = db.userinfo for x in range(num): post = {"_id" : str(x), "author": str(x), "text": "My first blog post!" } posts.insert(post)#查询测试方法def query(num): get=db.device for i in xrange(num): get.find_one({"scanid":"010000138101010000009aaaaa"})@func_timedef main(process_num,num): pool = multiprocessing.Pool(processes=process_num) for i in xrange(num): pool.apply_async(query, (num, )) pool.close() pool.join() print "Sub-process(es) done."if __name__ == "__main__":# query(500,1) main(800,500)
原文发表于http://www.cnblogs.com/reach296/
python 对mongodb进行压力测试
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。