首页 > 代码库 > python爬虫入门(1)-urllib模块
python爬虫入门(1)-urllib模块
作用:用于读取来自网上(服务器上)的数据
基本方法:urllib.request.urlopen(url,data=http://www.mamicode.com/None,[]timeout]*,cafile=None,cadefault=False,context=None)
- url:需要打开的网址
- data:Post提交的数据
- timeout:设置网站的访问超时时间
示例1:获取页面
import urllib.request
response = urllib.request.urlopen("http://www.fishc.com")#是一个HTTP响应类型
html =response.read()#读取响应内容,为bytes类型
# print(type(html),html) #输出的为一串<class ‘bytes‘>
html = html.decode(‘utf-8‘)#bytes类型解码为str类型
print(html)
示例2:抓一只猫
import urllib.request
response = urllib.request.urlopen("http://placekitten.com/g/400/400")
cat_img = response.read()
with open(‘cat_400_400.jpg‘, ‘wb‘) as f:
f.write(cat_img)
示例3:翻译器
右击浏览器,选择检查或审查元素,再点击网络,找到post的 Name,复制RequestURL
在headers中找到Form Data,复制表单中内容
import urllib.request
import urllib.parse
import json
import time
while True:
content = input("请输入需要翻译的内容《输入q!退出程序》:")
if content == ‘q!‘:
break
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=http://www.youdao.com/" #即RequestURL中的链接
data = {}
#Form Data中的内容,适当删除无用信息
data[‘i‘] = content
data[‘smartresult‘] = ‘dict‘
data[‘client‘] = ‘fanyideskweb‘
data[‘doctype‘] = ‘json‘
data[‘version‘] = ‘2.1‘
data[‘keyfrom‘] = ‘fanyi.web‘
data[‘action‘] = ‘FY_BY_CLICKBUTTON‘
data[‘typoResult‘] = ‘true‘
data = urllib.parse.urlencode(data).encode(‘utf-8‘)
#打开网址并提交表单
response = urllib.request.urlopen(url, data)
html = response.read().decode(‘utf-8‘)
target = json.loads(html)
print("翻译结果:%s" % (target[‘translateResult‘][0][0][‘tgt‘]))
time.sleep(2)
隐藏和代理
隐藏:1.通过request的headers参数修改
2.通过Request.add_header()方法修改
代理:1.proxy_support = urllib.request.ProxyHandler({}) #参数是一个字典{‘类型‘:‘代理IP:端口号‘}
2.opener = urllib.request.build_opener(proxy_support) #定制、创建一个opener
3.urllib.request.install_opener(opener) #安装opener
opener.open(url) #调用opener
代理
示例5:代理
import urllib.request
import random
url = ‘http://www.whatismyip.com.tw/‘
iplist = [‘61.191.41.130:80‘,‘115.46.97.122:8123‘,]
#参数是一个字典{‘类型‘:‘代理IP:端口号‘}
proxy_support = urllib.request.ProxyHandler({‘http‘:random.choice(iplist)})
#定制、创建一个opener
opener = urllib.request.build_opener(proxy_support)
#通过addheaders修改User-Agent
opener.addheaders = [(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36‘)]
#安装opener
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode(‘utf-8‘)
print(html)
示例6:简单爬取贴吧图片
- import urllib.request
import re
def open_url(url):
#打开URL并修改header,将URL内容读取
req = urllib.request.Request(url)
#通过add_header修改User-Agent
req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36‘)
page = urllib.request.urlopen(req)
html = page.read().decode(‘utf-8‘)
return html
def get_img(html):
p = r‘<img class="BDE_Image" src="http://www.mamicode.com/([^"]+\.jpg)‘
imglist = re.findall(p,html)#寻找到图片的链接
for each in imglist:
filename = each.split("/")[-1]
urllib.request.urlretrieve(each,filename,None)#保存图片
if __name__ == ‘__main__‘:
url = "https://tieba.baidu.com/p/5090206152"
get_img(open_url(url))
null
python爬虫入门(1)-urllib模块
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。