Python爬虫（三）——正则表达式

时间 2019-11-15 标签 python 爬虫三正则表达式

1、正则表达式

　　之因此叫正则表达式，是由于它们能够识别正则字符串（ regular string）；也就是说，它们能够这么定义：“ 若是你给个人字符串符合规则，我就返回它”，或者是“若是字符串不符合规则，我就忽略它”。这在要求快速浏览大文档，以查找像电话号码和邮箱地址之类的字符串时是很是方便的。 css

　　在编写处理字符串的程序或网页时，常常会有查找符合某些复杂规则的字符串的须要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。html

　　正则表达式并非Python的一部分。正则表达式是用于处理字符串的强大工具，拥有本身独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是同样的，区别只在于不一样的编程语言实现支持的语法数量不一样；但不用担忧，不被支持的语法一般是不经常使用的部分。若是已经在其余语言里使用过正则表达式，只须要简单看一看就能够上手了。python

图1，正则表达式的处理过程git

2、正则表达式的规则

图2，正则表达式规则正则表达式

3、python RE模块

　　re 模块使 Python 语言拥有所有的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能彻底一致的函数，这些函数使用一个模式字符串作为它们的第一个参数。编程

　　3.1 re.match 函数

　　re.match 尝试从字符串的开始匹配一个模式。语法：json

re.match(pattern, string, flags=0)

　　参数说明：ruby

pattern——匹配的正则表达式
string ——要匹配的字符串
flags——标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

　　匹配成功re.match方法返回一个匹配的对象，不然返回None。markdown

　　咱们可使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。编程语言

匹配对象方法	描述
group(num=0)	匹配的整个表达式的字符串，group() 能够一次输入多个组号，在这种状况下它将返回一个包含那些组所对应值的元组。
groups()	返回一个包含全部小组字符串的元组，从 1 到所含的小组号。

　　实例：　　

import re

line = "Cats are smarter than dogs"

matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)

if matchObj:
   print "matchObj.group() : ", matchObj.group()
   print "matchObj.group(1) : ", matchObj.group(1)
   print "matchObj.group(2) : ", matchObj.group(2)
else:
   print "No match!!"

　　输出结果：

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

　　3.2 re.research方法

　　search方法与match方法极其相似，区别在于match()函数只检测re是否是在string的开始位置匹配，search()会扫描整个string查找匹配，match（）只有在0位置匹配成功的话才有返回，若是不是开始位置匹配成功的话，match()就返回None。一样，search方法的返回对象一样match()返回对象的方法和属性。

　　　语法：　　　

re.search(pattern, string, flags=0)

　　参数说明同上，返回一个匹配对象，没有则返回none。例子：

#导入re模块
import re
 
# 将正则表达式编译成Pattern对象
pattern = re.compile(r'world')
# 使用search()查找匹配的子串，不存在能匹配的子串时将返回None
# 这个例子中使用match()没法成功匹配
match = re.search(pattern,'hello world!')
if match:
    # 使用Match得到分组信息
    print match.group()
### 输出 ###
# world

　　3.3 re.split

　　re.split(pattern, string[, maxsplit])，按照可以匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将所有分割。　

import re
 
pattern = re.compile(r'\d+')
print re.split(pattern,'one1two2three3four4')
 
### 输出 ###
# ['one', 'two', 'three', 'four', '']

　　3.4 re.findall(pattern, string[, flags])

　　搜索string，以列表形式返回所有能匹配的子串。

4、一些经常使用的正则表达式

　　检验数字：

1 数字：

^[0-9]*$

2 n位的数字：

^\d{n}$

3 至少n位的数字：

^\d{n,}$

4 m-n位的数字：

^\d{m,n}$

5 零和非零开头的数字：

^(0|[1-9][0-9]*)$

6 非零开头的最多带两位小数的数字：

^([1-9][0-9]*)+(.[0-9]{1,2})?$

7 带1-2位小数的正数或负数：

^(\-)?\d+(\.\d{1,2})?$

8 正数、负数、和小数：

^(\-|\+)?\d+(\.\d+)?$

9 有两位小数的正实数：

^[0-9]+(.[0-9]{2})?$

10 有1~3位小数的正实数：

^[0-9]+(.[0-9]{1,3})?$

11 非零的正整数：

^[1-9]\d*$ 
或 
^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$

12 非零的负整数：

^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$

13 非负整数：

^\d+$ 
或
^[1-9]\d*|0$

14 非正整数：

^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$

15 非负浮点数：

^\d+(\.\d+)?$ 
或
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$

16 非正浮点数：

^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$

17 正浮点数：

^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$

18 负浮点数：

^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$

19 浮点数：

^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$

　　校验字符表达式：

1 汉字：

^[\u4e00-\u9fa5]{0,}$

2 英文和数字：

^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$

3 长度为3-20的全部字符：

^.{3,20}$

4 由26个英文字母组成的字符串：

^[A-Za-z]+$

5 由26个大写英文字母组成的字符串：

^[A-Z]+$

6 由26个小写英文字母组成的字符串：

^[a-z]+$

7 由数字和26个英文字母组成的字符串：

^[A-Za-z0-9]+$

8 由数字、26个英文字母或者下划线组成的字符串：

^\w+$ 
或 
^\w{3,20}$

9 中文、英文、数字包括下划线：

^[\u4E00-\u9FA5A-Za-z0-9_]+$

10 中文、英文、数字但不包括下划线等符号：

^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$

11 能够输入含有^%&',;=?$\"等字符

：[^%&',;=?$\x22]+

12 禁止输入含有~的字符：



[^~\x22]+

　　特殊需求表达式

1 Email地址：

^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$

2 域名：

[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?

3 InternetURL：

[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$

4 手机号码：

^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$

5 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：

^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$

6 国内电话号码(0511-440522二、021-87888822)：

\d{3}-\d{8}|\d{4}-\d{7}

7 身份证号(15位、18位数字)：

^\d{15}|\d{18}$

8 短身份证号码(数字、字母x结尾)：

^([0-9]){7,18}(x|X)?$ 或 ^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$

9 账号是否合法(字母开头，容许5-16字节，容许字母数字下划线)：

^[a-zA-Z][a-zA-Z0-9_]{4,15}$

10 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：

^[a-zA-Z]\w{5,17}$

11 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：

^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$

12 日期格式：

^\d{4}-\d{1,2}-\d{1,2}

13 一年的12个月(01～09和1～12)：

^(0?[1-9]|1[0-2])$

14 一个月的31天(01～09和1～31)：

^((0?[1-9])|((1|2)[0-9])|30|31)$

15 钱的输入格式：

1.有四种钱的表示形式咱们能够接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：
```
^[1-9][0-9]*$ 
```
2.这表示任意一个不以0开头的数字,可是,这也意味着一个字符"0"不经过,因此咱们采用下面的形式：
```
^(0|[1-9][0-9]*)$ 
```
3.一个0或者一个不以0开头的数字.咱们还能够容许开头有一个负号：
```
^(0|-?[1-9][0-9]*)$ 
```
4.这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,由于钱总不能是负的吧.下面咱们要加的是说明可能的小数部分：
```
^[0-9]+(.[0-9]+)?$ 
```
5.必须说明的是,小数点后面至少应该有1位数,因此"10."是不经过的,可是 "10" 和 "10.2" 是经过的：
```
^[0-9]+(.[0-9]{2})?$ 
```
6.这样咱们规定小数点后面必须有两位,若是你认为太苛刻了,能够这样：
```
^[0-9]+(.[0-9]{1,2})?$ 
```
7.这样就容许用户只写一位小数.下面咱们该考虑数字中的逗号了,咱们能够这样：
```
^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$ 
```
8.1到3个数字,后面跟着任意个逗号+3个数字,逗号成为可选,而不是必须：
```
^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
```
备注：这就是最终结果了,别忘了"+"能够用"*"替代若是你以为空字符串也能够接受的话(奇怪,为何?)最后,别忘了在用函数时去掉去掉那个反斜杠,通常的错误都在这里

16 xml文件：

^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$

17 中文字符的正则表达式：

[\u4e00-\u9fa5]

18 双字节字符：

[^\x00-\xff] (包括汉字在内，能够用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))

19 空白行的正则表达式：

\n\s*\r    (能够用来删除空白行)

20 HTML标记的正则表达式：

<(\S*?)[^>]*>.*?</\1>|<.*? /> (网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力)

21 首尾空白字符的正则表达式：

^\s*|\s*$ 或 (^\s*)|(\s*$) (能够用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，很是有用的表达式)

22 腾讯QQ号：

[1-9][0-9]{4,} (腾讯QQ号从10000开始)

23 中国邮政编码：

[1-9]\d{5}(?!\d)    (中国邮政编码为6位数字)

24 IP地址：

\d+\.\d+\.\d+\.\d+    (提取IP地址时有用)

25 IP地址：

((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))

5、参考文档：

http://www.cnblogs.com/zxin/archive/2013/01/26/2877765.html
http://cuiqingcai.com/977.html
https://wizardforcel.gitbooks.io/w3school-python/content/25.html