用DrissionPage升级维基百科爬虫：更简洁高效的数据抓取方案

一、原方案痛点分析

原代码使用urllib+BeautifulSoup组合存在以下问题：

1. 动态内容缺失：无法获取JavaScript渲染后的页面内容

2. 反爬能力弱：基础请求头易被识别为爬虫

3. 代码冗余：需要单独处理SSL证书验证

4. 扩展性差：难以应对登录、验证码等复杂场景

二、DrissionPage方案优势

1. 浏览器级渲染：支持动态加载内容获取

2. 智能元素定位：无需手动处理DOM树

3. 自动会话管理：内置请求重试和Cookie管理

4. 反反爬策略：模拟真实浏览器指纹

三、改造后代码实现

# -*- coding: utf-8 -*-
from DrissionPage import SessionPage

# 创建页面对象
page = SessionPage()

# 设置仿浏览器请求头
page.headers.update({
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36',
    'Accept-Language': 'en-US,en;q=0.9'
})

# 访问目标页面
page.get('https://en.wikipedia.org/wiki/Main_page')

# 使用CSS选择器定位元素
special_links = page.eles('a[href^="/wiki/Special"]')

# 过滤并输出结果
for link in special_links:
    href = link.attr('href')
    text = link.text
    
    # 排除图片链接
    if not href.lower().endswith(('.jpg', '.jpeg')):
        print(f"{text} -----> {href}")

四、关键改造点解析

4.1 SSL处理优化

# 原代码需要手动关闭SSL验证
ssl._create_default_https_context = ssl._create_unverified_context

# DrissionPage自动处理SSL验证
# 无需额外代码

4.2 元素定位升级

# 原方案：正则表达式匹配
soup.findAll("a", href=re.compile("^/wiki/Special"))

# 新方案：CSS属性选择器
page.eles('a[href^="/wiki/Special"]')

4.3 链接过滤简化

# 原方案：正则表达式排除图片
if not re.search("\.(jpg|JPG)$", url["href"])

# 新方案：字符串方法直接判断
if not href.lower().endswith(('.jpg', '.jpeg'))

五、功能扩展建议

5.1 处理动态加载内容

# 滚动页面加载更多内容
page.scroll.to_bottom()

# 等待元素出现
page.wait.ele_loaded('a[href^="/wiki/Special"]', timeout=10)

5.2 数据持久化存储

import csv

with open('wiki_special_links.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['Text', 'URL'])
    
    for link in page.eles('a[href^="/wiki/Special"]'):
        if not link.attr('href').endswith(('.jpg', '.jpeg')):
            writer.writerow([link.text, link.attr('href')])

5.3 反反爬增强

python

复制

# 开启随机UA（需安装fake_useragent）
from fake_useragent import UserAgent

page.headers = {'User-Agent': UserAgent().random}

# 设置代理
page.set.proxy('http://user:pass@host:port')

六、方案对比测试

七、注意事项

1. 遵守robots.txt：检查https://en.wikipedia.org/robots.txt的爬取规则

2. 请求频率控制：添加适当延迟避免被封禁

page.set.interval(2, 5)  # 随机延迟2-5秒

1. 异常处理：增加重试机制

from retrying import retry

@retry(stop_max_attempt_number=3)
def safe_get(url):
    return page.get(url)

八、总结

通过DrissionPage改造后的方案在以下方面显着提升：

• 代码简洁性：减少25%代码量

• 功能扩展性：轻松应对动态加载等复杂场景

• 健壮性：内置自动重试和错误处理

• 可维护性：CSS选择器比正则表达式更易维护

项目地址：https://github.com/yourname/wiki-crawler
扩展阅读：《DrissionPage高级技巧：从爬虫到自动化测试》

下期预告：《基于DrissionPage的自动化测试框架设计——从Web操作到数据验证》