首页 > 代码库 > python的一些模块

python的一些模块

urllib和urllib2

urllib和urllib2都是接受URL请求的相关模块,但是提供了不同的功能;

urllib和urllib2 这两个模块并不可以互相替补;

urllib2 可以接受一个Request类的实例来设置URL请求的header,urllib仅可以接受URL。这就意味着你不可以伪装你的User Agent字符串等

urllib提供的urlencode方法用来GET查询字符串的产生,而urllib2没有。这就是为何urllib和urllib2一起使用的的原因。

urllib2拥有很多urllib所没有的特性:

1、urllib不支持缓存,urllib2支持

2、urllib不支持最后修改时间检查,urllib2支持

3,、urllib不支持ETag,urllib2支持

4、urllib不支持压缩,urllib2支持

5、urllib将所有的重定向都当所临时重定向,urllib2支持区分临时重定向和永久重定向。(重定向:通过各种方法将各种网络请求重新定位到其他位置

反正urllib就是一个基本的http库,而urllib2对http协议的支持更加完善

BeautifulSoup的简介

Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时间

简单来说,BeautifulSoup是python的一个库,最主要的功能是从网页抓取数据,官方的解释如下:

BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱、通过解析文档为用户提供需要抓取的数据,因为简单、所以不需要多少代码就可以写出一个完整的应用程序。

BeautifuSoup自动输入文档转换为Unicode编码,输入文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时BeautifulSoup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。

BeautifulSoup已成为和lxml、html6lib一样出色的python解释器、为用户灵活地提供不同的解析策略或强劲的速度

python的正则表达式re模块

正则表达式是一个小巧的,高度专业化的编程语言,它内嵌于python的开发语言中,可通过re模块使用,

正则表达式使用单个字符来描述、匹配一系列符合某个句法规则的字符串。

Requests模块

Requests使用的是urllib3,因此继承了它的所有的特性。Requests支持HTTP连接保持和连接池。支持cookie保护会话,支持文件上传,支持自动确定响应内容的编码。


本文出自 “路小疯的疯人院” 博客,请务必保留此出处http://adonislxf.blog.51cto.com/11770740/1886173

python的一些模块