🔸 正则表达式原理概述
正则表达式（Regular Expression，简称RE）是一种用于匹配文本的强大工具。它通过一些特殊字符（称为元字符）和模式，能够在文本中进行搜索、替换和解析操作。Python中的re模块提供了对正则表达式的支持，使我们可以方便地进行文本处理。
🔸 通用符号学习：各种元字符
让我们先来学习一些常见的元字符及其含义：
.：匹配除换行符外的任意字符^：匹配字符串的开头$：匹配字符串的结尾*：匹配前面的字符零次或多次+：匹配前面的字符一次或多次?：匹配前面的字符零次或一次{n}：匹配前面的字符恰好n次{n,}：匹配前面的字符至少n次{n,m}：匹配前面的字符至少n次，但不超过m次[]：匹配方括号内的任意字符|：匹配左右任意一个表达式()：标记一个子表达式，用于分组和提取
🔹 常见的转义字符：
\d：匹配任何十进制数字，相当于[0-9]\D：匹配任何非数字字符，相当于[^0-9]\w：匹配任何字母数字字符及下划线，相当于[A-Za-z0-9_]\W：匹配任何非字母数字字符及下划线，相当于[^A-Za-z0-9_]\s：匹配任何空白字符，相当于[ \t\n\r\f\v]\S：匹配任何非空白字符，相当于[^ \t\n\r\f\v]
🔸 分组和通用匹配
在正则表达式中，使用圆括号()可以对模式进行分组，这样我们可以提取匹配的子字符串。
import re
pattern = r"(\d{4})-(\d{2})-(\d{2})"
text = "2024-07-31"
match = re.match(pattern, text)
if match:
year, month, day = match.groups()
print(f"Year: {year}, Month: {month}, Day: {day}")
🔹 在这个示例中，模式 (\d{4})-(\d{2})-(\d{2}) 匹配日期格式 YYYY-MM-DD，并将年、月、日分别分组。
🔸 贪婪和非贪婪模式
正则表达式中的*、+、?等量词默认是贪婪的，即尽可能多地匹配字符。我们可以通过在量词后加上?来将其变为非贪婪模式，即尽可能少地匹配字符。
import re
text = "<div>content</div><div>more content</div>"
pattern_greedy = r"<div>.*</div>"
pattern_non_greedy = r"<div>.*?</div>"
# 贪婪模式
greedy_match = re.findall(pattern_greedy, text)
print(f"Greedy match: {greedy_match}")
# 非贪婪模式
non_greedy_match = re.findall(pattern_non_greedy, text)
print(f"Non-greedy match: {non_greedy_match}")
🔹 在这个示例中，贪婪模式匹配了整个字符串，而非贪婪模式则分别匹配了每个<div>标签中的内容。
🔸 findall、match和search方法
Python的re模块提供了多种方法来进行正则表达式匹配：
re.findall(pattern, string)：返回所有与模式匹配的子串列表。
import re
text = "There are 3 cats, 5 dogs, and 7 birds."
pattern = r"\d+"
matches = re.findall(pattern, text)
print(f"Numbers found: {matches}")
re.match(pattern, string)：从字符串的起始位置开始匹配模式，成功则返回Match对象，否则返回None。
import re
text = "2024-07-31"
pattern = r"\d{4}-\d{2}-\d{2}"
match = re.match(pattern, text)
if match:
print(f"Matched: {match.group()}")
re.search(pattern, string)：搜索整个字符串，找到第一个与模式匹配的子串，成功则返回Match对象，否则返回None。
import re
text = "Contact us at support@example.com"
pattern = r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}"
match = re.search(pattern, text)
if match:
print(f"Email found: {match.group()}")
🔸 总结
🔹 通过这次学习，我们掌握了正则表达式的基本原理、常用元字符、分组与匹配、贪婪与非贪婪模式，以及re模块中的常用方法。正则表达式在爬虫中非常实用，可以帮助我们高效地提取和处理文本数据。希望大家能够熟练掌握这些技巧，在实际项目中灵活运用！