正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。正则表达式作为一个模板,将某个字符模式与所搜索的字符串进行匹配。
特殊符号:
-
".“表示任意字符,”*"表示其前边的字符可以出现0次及以上
python中有一个re库用来进行在python中实现正则表达式的所有功能。
在正则表达式中,如果直接给出字符,就是精确匹配。用\d
可以匹配一个数字,\w
可以匹配一个字母或数字,所以:.
可以匹配任意字符,所以:
'py.'
可以匹配'pyc'
、'pyo'
、'py!'
等等。
语法简介
锚点
- "^“匹配输入字符串的开头位置,”$"表示匹配输入字符串的结尾字符
限定符
要匹配变长的字符,在正则表达式中,用*
表示任意个字符(包括 0 个),用+
表示至少一个字符,用?
表示 0 个或 1 个字符,用{n}
表示 n 个字符,用{n,m}
表示 n-m 个字符:
来看一个复杂的例子:\d{3}\s+\d{3,8}
。
我们来从左到右解读一下:
\d{3}
表示匹配 3 个数字,例如'010'
;\s
可以匹配一个空格(也包括 Tab 等空白符),所以\s+
表示至少有一个空格,例如匹配' '
,' '
等;\d{3,8}
表示 3-8 个数字,例如'1234567'
。
综合起来,上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。
非打印字符
\b | 单词边界,一个\w与\W之间的范围 |
---|---|
\B | 非单词边界 |
\w | 匹配一个字母或数字 |
\W | 与\w的意思相反 |
正则表达式不仅适用于ASCII字符还适用于unicode的数字字符。
特殊字符
特殊字符 | 含义 |
---|---|
() | 捕获分组,标记子表达式的开始和结束位置,供以后获取使用。 |
* | 匹配任意个(包括0)该符号前边的字符或者子表达式 |
+ | 匹配前边的子表达式一次或多次 |
. | 匹配任意一个单字符(|n除外) |
? | 匹配前边的子表达式0次或者一次。也可以指明一个非贪婪限定符 |
\ | 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如, ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 ‘\\’ 匹配 “\”,而 ‘\(’ 则匹配 “(”。 |
| | 指明两项之间的一个选择 |
[ | 标记一个中括号表达式的开始,满足中括号内任意一个字符即可完成提前 |
_ | 匹配除\n以外的任意字符 |
要做更精确地匹配,可以用[]
表示范围,比如:
[0-9a-zA-Z\_]
可以匹配一个数字、字母或者下划线;[0-9a-zA-Z\_]+
可以匹配至少由一个数字、字母或者下划线组成的字符串,比如'a100'
,'0_Z'
,'Py3000'
等等;[a-zA-Z\_][0-9a-zA-Z\_]*
可以匹配由字母或下划线开头,后接任意个由一个数字、字母或者下划线组成的字符串,也就是 Python 合法的变量;[a-zA-Z\_][0-9a-zA-Z\_]{0, 19}
更精确地限制了变量的长度是 1-20 个字符(前面 1 个字符 + 后面最多 19 个字符)。[]
中加以个^来表示非的概念,另外进入[]内的所有字符已没有特殊含义,.就是代表匹配的字符串有没有.[u4E00-\u9FA5]
匹配一个汉字
A|B
可以匹配 A 或 B,所以(P|p)ython
可以匹配'Python'
或者'python'
。
定位符
^ | 匹配输入字符串的开始位置 |
---|---|
$ | 匹配输入字符的结尾位置 |
\b | 匹配一个单词边界 |
\B | 匹配非单词边界 |
*
和 +
限定符都是贪婪的,因为它们会尽可能多的匹配文字,只有在它们的后面加上一个 ?
就可以实现非贪婪或最小匹配。
有判断条件的匹配
?=、?<=、?!、?<! 的使用区别
有的时候我们用"()"只是为了匹配不需要对某一个匹配进行保存,这时就有必要引入非捕获元
其中 ?:
是非捕获元之一,还有两个非捕获元是 ?=
和 ?!
,这两个还有更多的含义,前者为正向预查,在任何开始匹配圆括号内的正则表达式模式的位置来匹配搜索字符串,后者为负向预查,在任何开始不匹配该正则表达式模式的位置来匹配搜索字符串。
exp1(?=exp2):查找 exp2 前面的 exp1。
exp1(?=exp2):查找 exp2 前面的 exp1。
exp1(?=exp2):查找 exp2 前面的 exp1。
exp1(?=exp2):查找 exp2 前面的 exp1。
反向引用
反向引用的最简单的、最有用的应用之一,是提供查找文本中两个相同的相邻单词的匹配项的能力。以下面的句子为例:
Is is the cost of of gasoline going up up? |
上面的句子很显然有多个重复的单词。如果能设计一种方法定位该句子,而不必查找每个单词的重复出现,那该有多好。下面的正则表达式使用单个子表达式来实现这一点:
var str = "Is is the cost of of gasoline going up up"; |
捕获的表达式,正如 [a-z]+ 指定的,包括一个或多个字母。正则表达式的第二部分是对以前捕获的子匹配项的引用,即,单词的第二个匹配项正好由括号表达式匹配**。\1** 指定第一个子匹配项。
单词边界元字符确保只检测整个单词。否则,诸如 “is issued” 或 “this is” 之类的词组将不能正确地被此表达式识别。
正则表达式后面的全局标记 g 指定将该表达式应用到输入字符串中能够查找到的尽可能多的匹配。
表达式的结尾处的不区分大小写 i 标记指定不区分大小写。
多行标记指定换行符的两边可能出现潜在的匹配。
反向引用还可以将通用资源指示符 (URI) 分解为其组件。
var str = "http://www.runoob.com:80/html/html-tutorial.html"; |
第三行代码 str.match(patt1) 返回一个数组,实例中的数组包含 5 个元素,索引 0 对应的是整个字符串,索引 1 对应第一个匹配符(括号内),以此类推。
第一个括号子表达式捕获 Web 地址的协议部分。该子表达式匹配在冒号和两个正斜杠前面的任何单词。
第二个括号子表达式捕获地址的域地址部分。子表达式匹配非 : 和 / 之后的一个或多个字符。
第三个括号子表达式捕获端口号(如果指定了的话)。该子表达式匹配冒号后面的零个或多个数字。只能重复一次该子表达式。
最后,第四个括号子表达式捕获 Web 地址指定的路径和 / 或页信息。该子表达式能匹配不包括 # 或空格字符的任何字符序列。
将正则表达式应用到上面的 URI,各子匹配项包含下面的内容:
- 第一个括号子表达式包含 http
- 第二个括号子表达式包含 www.runoob.com
- 第三个括号子表达式包含 :80
- 第四个括号子表达式包含 /html/html-tutorial.html
在电影院网站爬取播放的电影
import re |