首页 > 代码库 > Python 多进程使用之监控
Python 多进程使用之监控
上一篇文章中写过使用powershell多线程监控网站状态,但powershell只能运行在Windows环境,于是将powershell代码改成了python代码,下面简单写下实现方式,具体代码不会全部贴出来。
需要使用的py库有下面几个
import urllib2 import socket from multiprocessing import Pool from threading import Thread
urllib2用于请求网页
socket用于限制网络请求超时
pool用于设置进程池,这个在数据量很大的情况下采用pool远比使用process要好很多,后者会消耗掉大量服务器资源,甚至导致宕机的风险,在数据量不大的情况下可以考虑后者,比如10条以内的数据。
‘‘‘请求指定Url地址‘‘‘ def request_url(url): ‘‘‘设置请求超时时间‘‘‘ socket.setdefaulttimeout(5) try: ‘‘‘构造 http请求‘‘‘ request=urllib2.Request(url) response=urllib2.urlopen(request) except Exception,e: print ‘%s|%s|%s‘%(url,e,request.get_method()) else: print ‘%s|%s|%s‘%(url,response.code,request.get_method())
获取url的方式可以自己定义,有时候我们会将数据保留在文件中,但更多的是写在数据库,下面代码提供了很好的灵活性,代码中的内容自己可以再完善
‘‘‘从文件或数据库中获取需要监控的网页地址‘‘‘ def get_url_list(value): if value == ‘‘: print ‘该函数需要指定一个参数!‘ return if value == ‘file‘: file_path=‘C:\urllist.txt‘ #文本中的数据一行一条 try: f=open(file_path, ‘r‘) except Exception,e: print e else: return f.readlines() elif value == ‘mysql‘: pass else: print ‘传入值错误!‘ print ‘该函数只接收 file、mysql参数‘
尝试执行代码试试效果。
if __name__ == ‘__main__‘: url_list=get_url_list(‘file‘) if url_list: ‘‘‘定义进程池中最大的进程数‘‘‘ pl=Pool(processes=10) for url in url_list: ‘‘‘去掉换行符‘‘‘ url=url.strip(‘\n‘) result=pl.apply_async(request_url,(url,)) pl.close() pl.join()
Python 多进程使用之监控
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。