首页 > 代码库 > 【Python】 http客户端库requests & urllib2 以及ip地址处理IPy

【Python】 http客户端库requests & urllib2 以及ip地址处理IPy

requests

  requests是个HTTPClient库,相比于urllib,urllib2等模块比更加简洁易用

 ■  get请求

  作为示例,讲一下关于requests如何发起并处理一个get请求

r = requests.get("http://www.baidu.com")    #可以加入timeout参数来设置超时

  r是一个Response对象,可以用r查看很多信息

    如r.status_code  查看本次请求的http返回码

    r.headers  头部信息(是个类字典对象)

    r.url    本次请求用的url

    r.encoding  编码方式

    r.text    正文

    r.content  正文

    *text和content的区别是text是以unicode的形式存在内存中的,而content是把text用r.encoding编码进行encode之后的产物。所以当返回内容是html文本时,type(text)是unicode而type(content)是str。当返回的是类似于图片这样的东西时,编码可以是base64这种二进制编码,所以如果要下载一张图或一个文件时,应该写入本地文件的也是content而不是text。

    r.cookies  获得返回内容中的cookie内容,若想在请求中加入cookie的话只要在参数中加上cookie={...}即可

  r对象还有一些方法:

    r.raise_for_status()  #当返回码不是200的时候抛出一个HTTPError异常

  另外,get方法还可以把一个字典整合到url中去形成一个带参数的GET请求。比如

par = {wd:word}
r = requests.get("http://www.baidu.com/s",params=par)

>>>r.url
uhttp://www.baidu.com/s?wd=word

  如果返回的是个json串,那么r还可以用json()方法构造出这个串对应的python字典

r = requests.get("url")  #假设返回的json是 {"code":"200","msg":"OK"}

res = r.json()
print res.get("code"),res.get("msg")
#得到的就是200 OK

  

  除了params参数之外,get方法还可以有proxies参数以设置代理;headers参数来伪造请求头部

  比如headers={‘User-Agent‘:‘test‘};r = requests.get(url,headers=headers)

  加入cookie={一个字典}来增加请求中的cookie信息 

■  POST

  POST请求用post方法,和get类似的设置。

  在加上post的数据时注意参数是data不是params了!! ==> r = requests.post(url,data=http://www.mamicode.com/par)

 

urllib2

  urllib2是比requests更加贴近底层,可以实现更加个性化的HTTPClient?

■  基本用法

req = urllib2.Request(...)    #用一个url来建立一个Request对象,这个url可以是http协议的也可以是ftp协议的

response = urllib2.urlopen(req)    #打开这一request对象

page = response.read()    #response可以像一个文件一样read内容

 如果是使用http协议进行通信的话,用户可以通过POST或GET方法来丰富自己的http请求方式,比如自己附上一些表单data,或者添加http的headers信息

  ①  增加表单data

    首先需要一个python字典来抽象化要发送的数据,然后一定要用urllib.urlencode将这个字典处理成urlopen可以识别的东西(好像就是个key=value&key2=value2这样的,跟在get请求的url后面的那种形式)。然后在创建Request对象的时候就有两种方法,分别对应着POST请求和GET请求

par = {wd:word}
processed_par = urllib.urlencode(par)    #对字典进行处理,用到的是urllib中的urlencode方法

req = urllib2.Request(url,data=http://www.mamicode.com/processed_par)    #写个参数data=http://www.mamicode.com/处理好的数据这种方式呢对应的是POST请求
req = urllib2.Request(‘‘url+?+processed_par)    #直接加上处理好的数据是指GET请求的方式(不要忘了中间的问号!!!

urllib2.urlopen(req)    #打开Request对象来进行访问

 

   ②  增加header信息

    header即头部,http头部属于http讯息的一部分,其逻辑形式大致是一个字典,内容包括客户端可接受的内容类型,编码,语言,证书信息,用户所用代理(浏览器的牌子)是什么等等。从应用逻辑上分,header又被分成了general header,request header,response header和entity header四部分

    因为urllib2主要是个http客户端库,所以主要关注request header的部分

    如以下做法可以为header添加上User-Agent信息(用户的浏览器是什么)

    

url = http://www.xxxxxxxx...

userAgent = Mozilla 4.0 xxxxx    #模拟火狐浏览器的信息

headers = {User-Agent:userAgent}    #设置header字典

data = urllib.urlencode(...)        #POST请求的表单数据
req = urllib2.Request(url,data=http://www.mamicode.com/data,headers=headers)
res = urllib2.urlopen(req)    #这就是打开了带有自己定义的头部信息的请求了

 

 

■  零碎的记录

  *关于错误 URLError & HTTPerror

  这两个错误是在应用http客户端库时常见的错误。首先,HTTPerror是URLError的一个子类,即发生HTTPError时必然发生URLError

  另外,URLError通常是指没有网络连接(没有特定路由到指定服务器),或者服务器不存在的错误。对应的,HTTPError指的是那些服务器指向正确并且连接OK,但是无法完成请求的情况。

  URLError对象通常都有reason属性,是个tuple,[0]是错误号,[1]是错误信息,所以在except URLError的时候可以print e.reason来查看具体信息。类似的HTTPError则有一个code属性,记录的是http返回码,如众所周知的404代表找不到文件,401代表需要验证,500代表服务器内部出错等等。

  

  *关于url的解码和编码

  有些符号如‘{‘,‘\‘是无法被识别的,需要对其进行编码成%7B,%5C之类的某种我也说不太清到底是什么码的码,可以用urllib.quote(url)对url进行一个编码,同样的urllib.unquote(url)是把编好码的url解码成人看得懂的形式。

 

IPy

  一个小模块。。没地方放了,反正这篇好像都是跟网络沾边就放着把。

  本来我想找个能验证ip地址合法性的模块,而找到的这个IPy似乎功能要更加强大一些。IPy下载地址https://github.com/haypo/python-ipy/

  ●  对ip的处理

  首先用IPy.IP来建立一个IP对象

ip = IP(x.x.x.x)    #在构造IP对象时就已经对ip合法性做出判断,如果不对就报错了。我最开始的需求就这么实现了。。

  IP对象有__repr__方法,可以直接被print成字符串。

  ip.make_net(‘子网掩码‘)  返回这个ip所在的网段地址,比如

ip = IP(127.0.0.1)
net = ip.make_net(255.0.0.0)
print net
##输出结果就是 IP(‘127.0.0.0/8‘)

print ip in net ##还可以直接用 in 语句来判断某个ip在不在一个网段里

  ●  对网段地址的处理

  在构造的时候,如果写的是一个网络,那么IP类会自动将其识别成一个网络

net = IP(127.0.0.0/24)

  这个net对象时iterable的,可以迭代出这个网段里所有的ip地址,用len(net)自然就可以看到这个网段里一共能有多少ip了

  在print net的是时候同样会打印出来这个网络,只是表示一个网络有多种方法,到底取哪一种呢?

  可以用net.strNormal(n)这个方法来改变打印出来的格式,比如上面那个net,如果设置了n是0的话只打印出127.0.0.0(网络地址)

  n为1的场合 打印出类似于127.0.0.0/24 这种表现形式

  n为2的场合 打印出127.0.0.0/255.255.255.0  的形式

  n为3的场合 打印出127.0.0.0 - 127.0.0.255  的形式

【Python】 http客户端库requests & urllib2 以及ip地址处理IPy