首页 > 代码库 > PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)

PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)

 

正则表达式由字符和操作符构成

 

. 表示任何单个字符

[]字符集,对单个字符给出取值范围 [abc]或者关系  [a-z]表示  

[^abc]表示非这里面的东西 非字符集

* 表示星号之前的字符出现0次或者无限次扩展

+ 表示星号之前的字符出现一次或者无限次扩展

? 表示出现0次或1扩展

| 表示左右表达式人取其一 abc|def

---------------------------------------------------------------------

{m} 扩展前一个字符m次  ab{2}c  abbc

{m,n}扩展前一个字符m-n 次 ab{1,2}c 表示 abc abbc 

{:3} 零到三次

^ 匹配字符串开头: ^abc 表示abc且在一个字符串的开头

$ 匹配字符串的结尾 abc$ 表示bac切abc在一个字符串的结尾

()分组标记 内部只能使用 | 

\d 等价于[0-9]

\w 等价于字符[A-Za-z0-9]

----------------------------------------------------------------------

经典正则表达式 

^[A-Za-z]+$                 由26个字母组成的表达式

^[A-Za-z0-9]+$     由字母与数字构成的字符串

^-?\d+$         匹配任何整数

^[1-9]*[0-9][0-9]*$   表示正整数的字符串

[1-9]\d{5}         6位邮政编码的正则表达式

[\u4e00-\u9fa5]        匹配中文字符

\d{3}-\d{8}|\d{4}-\d{7}  匹配国内电话号码

 

\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}. 匹配ip地址

re.search()       在一个字符串中搜索匹配正则表达式的第一个位置,返回metch对象

re.match()    在一个字符串的开始位置起匹配正则表达式,返回match对象

re.findall()   搜索字符串,以列表形式返回所有能匹配的字符串

re.split()    将一个字符串按照正则表达式的匹配结果进行分割,返回一个列表

re.finditer()   搜索字符串,返回一个匹配结果的爹地啊类型,每个迭代元素是match象

re.sub()    替换所有匹配的字符串,返回一个字符串

 

详细使用说明

re.search(pattern,string,flags=0)

findall 函数参数和search 一样

finditer 同上

pattern 正则表达式

string 原始需要被匹配的字符串

flags 控制查找的标记

标记如下

re.I   忽略大小写

re.M  正则表达式的^操作符能够匹配给定字符串每一行的开始部分

re.S re.DOTALL 正则表达式的.匹配所有的字符 //默认匹配除换行符之外的所有字符

 

re.split(pattern,string,maxsplit=0,flags=0)

maxsplit 最大分割数,剩余部分作为整体显示出来 (匹配的部分去掉

 

re.sub(pattern,repl,string,count=0,flags=0)

repl  替换原字符串的字符串 ,count 最大替换词数  

 

re库的等价用法 

rst=re.search(...)   一次性用法

 

re.compile(pattern,flags=0)

pat =re.compile(‘‘)  

// pat 成为pattern 对象   可以多次使用

pat.search()

 

Match 对象类型

if match:

attribute:

  .string 待匹配文本

  .re    使用的pattern

  .pos 匹配开始的位置

  .enpos 匹配结束的位置

  .group(0) 获得匹配后的字符串

  group方法的其他用法如下

>>> m = re.match(r"(\w+) (\w+)", "Isaac Newton, physicist")
>>> m.group(0)       # The entire match
‘Isaac Newton‘
>>> m.group(1)       # The first parenthesized subgroup.
‘Isaac‘
>>> m.group(2)       # The second parenthesized subgroup.
‘Newton‘
>>> m.group(1, 2)    # Multiple arguments give us a tuple.
(‘Isaac‘, ‘Newton‘)


.start() 匹配字符串在原始字符串的开始位置

.end()  匹配字符串在原始字符串的结束位置

.span 返回(.start(),.end())   //tuple 

 

贪婪匹配和最小匹配

match=re.saerch(r‘PY.*N‘,‘PYANBNCNDN‘)

match.group(0)

匹配长短不同时

默认采用贪婪匹配的方式,即找到最长的符合条件的最长子串

match=re.saerch(r‘PY.*?N‘,‘PYANBNCNDN‘)

match.group(0)

*后面加一个?即匹配符合条件的最小的匹配

 

最小匹配操作符(有操作符可以匹配不同长度时)

*?

+?

??

{m,n}?

 

 正则表达式还是要反斜杠注释的 \\

 r‘\"view_price\"\:\"[\d\.]*\"‘

 .":都要注释

PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)