【Python】6. 正则表达式

时间 2021-01-20

正则表达式

文章目录

正则表达式

字符匹配规则

贪婪模式与非贪婪模式

re.match函数

爬取网页内容实例

正则表达式是一种用来匹配字符串的强有力的武器，设计思想是用一种描述性的语言来给字符串定义一个规则。

例如在注册账号的时候对账号名称的要求，比如不能以数字开头，字数的数量等，这些都是用正则表达式实现的。正则表达式还经常用在数据清洗和提取中。

字符匹配规则

单个字符匹配：\d：数字 \w：字母或数字 \s：空格 _：下划线 .：匹配任意字符

匹配不规则长度字符需借助其他关键字符：

贪婪模式与非贪婪模式

Python 里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪的则相反，总是尝试匹配尽可能少的字符。例如：正则表达式 ”ab*” 如果用于查找 ”abbbc”，将找到 ”abbb”。而如果使用非贪婪的数量词 ”ab *?”，将找到 ”a”。

精确匹配

A|B：表示可以匹配A或B

^{：表示行的开头，}\d表示必须以数字开头

KaTeX parse error: Expected 'EOF', got '\d' at position 9: ：表示行的结束，\̲d̲表示以数字结束

re.match函数

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match（）就返回None

re.match(pattern, string, flags=0)

pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

修饰符

修饰符	描述
re.I	使匹配对大小写不敏感
re.L	做本地化识别（locale-aware）匹配
re.M	多行匹配，影响 ^ 和 $
re.S	使 . 匹配包括换行在内的所有字符
re.U	根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X	该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

group

group（num=0）	匹配的整个表达式的字符串，group()可以一次输入多个组号，在这种情况下将返回一个包含那些组所对应值的元组
group（）	返回一个包含所有小组字符串的元组，从1到所含的小组号

import re
 
line = "Cats are smarter than dogs"
 
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
 
if matchObj:
    print("matchObj.group() : ", matchObj.group())
    print("matchObj.group(1) : ", matchObj.group(1))
    print("matchObj.group(2) : ", matchObj.group(2))
else:
    print("No match!!")

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

re.search

re.search(pattern, string, flags=0)

import re
print(re.search('www', 'www.runoob.com').span())  # 在起始位置匹配
print(re.search('com', 'www.runoob.com').span())  # 不在起始位置匹配
#输出
(0, 3)
(11, 14)

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

检索和替换

re 模块提供了re.sub用于替换字符串中的匹配项

re.sub(pattern, repl, string, count=0, flags=0)

pattern : 正则中的模式字符串。
repl : 替换的字符串，也可为一个函数。
string : 要被查找替换的原始字符串。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。

import re

phone = "2004-959-559 # 这是一个国外电话号码"
# 删除字符串中的 Python注释 
num = re.sub(r'#.*$', "", phone)
print("电话号码是: ", num)
# 删除非数字(-)的字符串 
num = re.sub(r'\D', "", phone)
print("电话号码是 : ", num)

电话号码是:  2004-959-559 
电话号码是 :  2004959559

re.compile函数

函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

re.compile(pattern[, flags])

>>>import re
>>> pattern = re.compile(r'([a-z]+) ([a-z]+)', re.I)   # re.I 表示忽略大小写
>>> m = pattern.match('Hello World Wide Web')
>>> print(m)                            # 匹配成功，返回一个 Match 对象
<_sre.SRE_Match object at 0x10bea83e8>
>>> m.group(0)                            # 返回匹配成功的整个子串
'Hello World'
>>> m.span(0)                             # 返回匹配成功的整个子串的索引
(0, 11)
>>> m.group(1)                            # 返回第一个分组匹配成功的子串
'Hello'
>>> m.span(1)                             # 返回第一个分组匹配成功的子串的索引
(0, 5)
>>> m.group(2)                            # 返回第二个分组匹配成功的子串
'World'
>>> m.span(2)                             # 返回第二个分组匹配成功的子串
(6, 11)
>>> m.groups()                            # 等价于 (m.group(1), m.group(2), ...)
('Hello', 'World')
>>> m.group(3)                            # 不存在第三个分组
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
IndexError: no such group

findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

findall(string[, pos[, endpos]])

import re
 
pattern = re.compile(r'\d+')   # 查找数字
result1 = pattern.findall('runoob 123 google 456')
result2 = pattern.findall('run88oob123google456', 0, 10)
 
print(result1)
print(result2)

[‘123’, ‘456’]

[‘88’, ‘12’]

re.finditer

在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。

迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。

re.finditer(pattern, string, flags=0)

import re
 
it = re.finditer(r"\d+","12a32bc43jf3") 
for match in it: 
    print (match.group() )

re.split

照能够匹配的子串将字符串分割后返回列表

re.split(pattern, string[, maxsplit=0, flags=0])

maxsplit分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。

>>>import re
>>> re.split('\W+', 'runoob, runoob, runoob.')
['runoob', 'runoob', 'runoob', '']
>>> re.split('(\W+)', ' runoob, runoob, runoob.') 
['', ' ', 'runoob', ', ', 'runoob', ', ', 'runoob', '.', '']
>>> re.split('\W+', ' runoob, runoob, runoob.', 1) 
['', 'runoob, runoob, runoob.']
 
>>> re.split('a*', 'hello world')   # 对于一个找不到匹配的字符串而言，split 不会对其作出分割
['hello world']

爬取网页内容实例

爬取豆瓣电影排行榜实例，其网址是“https://movie.douban.com/chart“，主要任务是爬取在排行榜上的电影名称。

import requests
import re

respond=requests.get("https://movie.douban.com/chart")
content=str(respond.content.decode())
#print(content)
pattern = r'.*<a class="nbg" href="https://movie.douban.com/subject/\d+/"  title=(.+)>.*'
print(re.findall(pattern,content))