首页 > 代码库 > python urllib基础学习
python urllib基础学习
# -*- coding: utf-8 -*-
# python:2.x
__author__ = ‘Administrator‘
#使用python创建一个简单的WEB客户端
import urllib,urllib2,urlparse
"""
web地址元素
URL部件 描述
prot_sch 网络协议或者下载规划
nety_loc 服务器位置（或者也有用户信息）
path 斜杠(/)限定文件或者CGI应用程序路径
query 连接符(&)连接键值对
params 可选参数
frag 拆分文档中特殊锚
网络定位元素
net_loc
部件 描述
user 用户名
password 密码
host web服务器运行机器名或者地址（必须字段）
port 端口号(默认为80)
"""
#urlparse.urlparse()urlparse(url, scheme=‘‘, allow_fragments=True)
"""
将url解析成一个6元组(prot_sch,net_loc,path,params,query,frag)
当url中没有提供默认网络协议或者下载规划时可以使用scheme,allw_fragments标识一个URL是否允许使用零部件
"""
#例如
#print urlparse.urlparse(‘http://www.python.org/doc/FAQ.html‘)
#ParseResult(scheme=‘http‘, netloc=‘www.python.org‘, path=‘/doc/FAQ.html‘, params=‘‘, query=‘‘, fragment=‘‘)
#urlparse.urlunparse()功能与urlparse.urlparse()相反：它是拼合一个6元组(prot_sch,net_loc,path,params,query,frag)
#url1=urlparse.urlparse(‘http://www.163.com‘)
#print urlparse.urlunparse(url1)
#urlparse.urljoin()进行多个结合一起
## ‘photo.shtml‘)
"""urllib
支持WEB协议，HTTP,FTP,GOPHER协议，可以进行上载下载,避免使用以前的那些模块
"""
#urllib.urlopen()打开一个给定的URL字符串与WEB连接，返回文件类型
#语法urllib.urlopen(url,data=http://www.mamicode.com/None,proxies=None):如果没有给定协议或者下载，或者文件规划早已给出，它会打开本地文件
"""
对于所有HTTP请教，常见的请求是GET，在这样的情况下，WEB服务器会发送请求字符串（编码键值或者引用）
如果要求使用POST方法信息，请查看CGI应用编程部分普通文档或者文本。
f.info()方法返回MIME（多目标因特网邮件扩展，Multipurpose internet mail extension）头文件，这个头文件通知浏览器返回文件类型可以是那类应用程序打开
geturl()方法在考虑了所有可能发生间接导向后，从最终打开的文件中获得真实的URL
"""
"""
urllilb.urlopen()方法如下
对象方法 描述
f.read([bytes]) 从f中读出所有或者bytes个字节
f.readline() 从f中读出一行
f.readlines() 读取所有行返回一个列表
f.close() 关闭连接
f.fileno() 返回f文件句柄
f.geturl() 返回f所打开的真正URL
如果需要复杂的URL或者要处理复杂的情况，比如cookie等问题，建议使用urllib2模块
"""
#urllib.urlretrieve(url,fulename=None,reporthook=None,data=http://www.mamicode.com/None)当需要URL文档时，可以使用它
"""
reporthook这个函数会在每块数据下载或者传输完之后被调用，3个参数：目前读入块数，块的字节数和文件字节数，
urlretrieve（）返回一个2元组，(filename,mime_hdrs),filename包含下载数据本地文件名,mime_hdrs是对WEB服务器响应后返回一系列MIME文件判断
更多信息可以看mimetools的message类，对于本地文件来说mime_hdrs是空的
"""
#urllib.quote()和urllib.quote_plus()
"""
quote*()函数获取URL数据，将其编码，从而适用于URL字符串中，对于一些不能被打印或者不被WEB服务器作为有效的URL接收特殊字符串可以使用此函数
语法如
quote(urldata,safe=‘/‘)
"""
#例如
# name=‘jon mama‘
# number=6
# base=‘http://www/~foo/cgi-bin/s.py‘
# final=‘%s?name=%s&num=%d‘%(base,name,number)
# print final
# print urllib.quote(final)
# print urllib.quote_plus(final)
#urllib.unquote(),urllib.unquote_plus()这2个函数功能完全相反，将所有编码‘%xx‘式的字母转换成它们的ascii值
#调用unquote()函数会把s中所有URL编码字母都解码，返回字符串，urllib.unquote_plus()函数会将加号转换成空格符
#urllib.urlencode()它是接收字典键-值对，将其编译成CGI请求的URL字符串，键值对格式：键=值，以连接符&划分，更进一步，键和它们值被传到quote_pluis()进行适当的编码
#例如
adict={‘name‘:‘georgion garica‘,‘b‘:‘c‘}
print urllib.urlencode(adict)
#urllib方法的例子学习
url1=‘http://cnblogs.com‘
#代理服务器
proxies={‘http‘:‘http://cnblogs.com‘}
#使用代理服务器打开
r=urllib.urlopen(url1,proxies=proxies)
print r.info()
print r.getcode()
print r.geturl()
#打开本地文件
f=urllib.urlopen(url=‘file:/f:/from2.html‘)
#print f.read()
#print f.readline()
print f.readlines()
#打开ftp服务器
#f = urllib.urlopen(url = ‘ftp://username:password@ftpaddress‘)
#保存网页显示进度
def urlabc(a,b,c):
"""
a:数量
b:大小
c:状态
"""
per=100.*a*b/c
if per>100:
per=100
print ‘%.2f%%‘%per
url=‘http://www.oschina.net/news/55121/tiobe-2014-9‘
local=‘oschina.net‘
print urllib.urlretrieve(url,local,urlabc)
#get方法
params=urllib.urlencode({‘s‘:1,‘b‘:2,‘c‘:3})
f=urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
print f.read()
print ‘*‘*300
#post方法
params=urllib.urlencode({‘s‘:1,‘b‘:2,‘c‘:3})
f=urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
print f.read()
print ‘*‘*300
#编码解码
data=http://www.mamicode.com/‘name=~a+3‘
data1=urllib.quote(data)
print data1
print urllib.unquote(data1)
data2=urllib.quote_plus(data)
print data2
print urllib.unquote_plus(data2)
data3 = urllib.urlencode({ ‘name‘: ‘dark-bull‘, ‘age‘: 200 })
print data3
data4=urllib.pathname2url(r‘F:\qtgui\netword1\oschina.net‘)
print data4
print urllib.url2pathname(data4)
python urllib基础学习