首页 > 代码库 > Python 爬虫实例
Python 爬虫实例
下面是我写的一个简单爬虫实例
1.定义函数读取html网页的源代码
2.从源代码通过正则表达式挑选出自己需要获取的内容
3.序列中的htm依次写到d盘
#!/usr/bin/python import re import urllib.request #定义函数读取html网页的源代码 def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html #从源代码通过正则表达式挑选出自己需要获取的内容 def getImg(html): reg = r‘href="http://www.mamicode.com/(.*?\.htm)"‘ imgre = re.compile(reg) implist = re.findall(imgre,html) #序列中的htm依次写到d盘 x = 0 for imgurl in implist: urllib.request.urlretrieve(imgurl, ‘D:\htm\%s.htm‘ % x) x += 1 html = getHtml("http://www.10086.cn/hb/index_270_719.html") html = html.decode(‘utf-8‘) print(getImg(html))
运行程序结果:
Python 爬虫实例
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。