Playwright 教程高级篇：掌握网页自动化与验证码处理等关键技术详解
本教程将带您一步步学习如何使用 Playwright——一个强大的浏览器自动化工具，来完成网页任务，例如提交链接并处理旋转验证码。我们将按照典型的自动化流程顺序，从启动浏览器到关闭浏览器，详细讲解每个步骤中用到的Playwright 技术，包括保存用户会话、规避网站检测、与用户交互、操作网页元素、截取图像、模拟人类行为等。此外，我们还会探讨如何处理iframe 和跨域问题，因为验证码常藏在这些复杂场景中。教程使用通用的术语和表达，确保无需特定代码背景也能理解，适合任何网页自动化项目。无论您是想自动化表单提交还是挑战验证码，本教程都为您提供准确、实用的Playwright 技能。
自动化流程的逐步解析
自动化流程通常包括启动浏览器、访问网页、确认用户登录、填写表单、触发验证码、解决验证码、验证结果并清理资源。以下按此顺序分解每个 Playwright 技术的应用，清晰说明其功能、用途和实现方法。
1. 启动浏览器并保存会话数据
这是什么步骤？ 启动浏览器并配置一个存储空间，用于保存登录信息（如 cookies），以避免每次运行都需要重新登录。
Playwright 如何实现？ Playwright 支持通过持久化上下文启动浏览器（例如 Chromium），将 cookies 和会话数据保存在本地文件夹中，区别于隐身模式（隐身模式关闭后清空数据）。
关键技术：
- 持久化上下文：使用 playwright.chromium.launch_persistent_context，指定一个存储路径（如 ./browser_data），保存 cookies、浏览器缓存等数据，供后续运行复用。
- 创建存储目录：通过 Python 的 os.path.exists 检查存储路径是否存在，若不存在则用 os.makedirs 创建，确保程序顺利运行。
- 显示浏览器：设置 headless=False，让浏览器可见，便于观察操作或调试。
- 自定义浏览器路径：通过 executable_path 指定特定的浏览器可执行文件，适用于需要特定版本的场景。
- 浏览器配置：
- 使用 --disable-infobars 参数隐藏浏览器顶部提示条（如“浏览器正被自动化控制”）。
- 移除 --enable-automation 参数，避免网站检测到自动化行为。
- 设置真实的 user_agent（如模拟 Windows 上的 Chrome 浏览器），使浏览器行为更像普通用户。
示例代码：
from playwright.sync_api import sync_playwright
import os
with sync_playwright() as p:
data_dir = "./browser_data"
if not os.path.exists(data_dir):
os.makedirs(data_dir)
context = p.chromium.launch_persistent_context(
user_data_dir=data_dir,
headless=False,
args=["--disable-infobars"],
ignore_default_args=["--enable-automation"],
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0"
)
为什么重要？ 保存会话数据就像给浏览器一个“记事本”，让它记住登录状态，省去重复登录的麻烦。合理的配置还能让浏览器显得更像真人操作，降低被网站拦截的风险。
如何应用？ 启动持久化上下文时，指定一个固定路径存储数据。设置 headless=False 便于测试，并调整浏览器参数以模拟正常用户行为。这就像为浏览器准备一个舒适的家，存储它的记忆。
2. 复用浏览器的默认页面
这是什么步骤？ 直接使用浏览器启动时自带的页面（标签页），而不是额外打开新页面。
Playwright 如何实现？ 每次启动浏览器上下文时，Playwright 自动创建一个页面（类似于浏览器的一个标签页）。您可以直接使用这个默认页面进行操作，保持简洁高效。
关键技术：
- 访问页面：通过 context.pages 获取所有打开的页面列表，默认页面通常是 pages[0]。
- 复用页面：直接操作 context.pages[0]，无需调用 context.new_page() 创建新页面。
- 安全检查：确认 context.pages 不为空，以防浏览器未正确初始化。
示例代码：
if not context.pages:
print("错误：未找到默认页面！")
exit()
page = context.pages[0]
print("正在使用默认页面")
为什么重要？ 复用默认页面就像用桌面上已有的纸张写字，无需再拿一张新的。节省资源的同时让脚本逻辑更清晰。
如何应用？ 启动上下文后，取出 context.pages[0] 作为操作页面，并在代码中检查其是否存在。仅在需要多任务并行时才创建新页面。
3. 规避网站对自动化的检测
这是什么步骤？ 调整浏览器属性，隐藏自动化脚本的痕迹，让网站认为您是普通用户。
Playwright 如何实现？ Playwright 可以在浏览器中运行 JavaScript 代码，修改特定属性，结合启动时的配置，伪装成常规浏览器。
关键技术：
- 隐藏 Webdriver：通过 JavaScript 将 navigator.webdriver 设置为 undefined，因为普通浏览器无此属性。
- 模拟浏览器环境：添加 window.chrome 等属性，伪装成 Chrome 浏览器。
- 伪造语言设置：将 navigator.languages 设置为常见值（如 [“zh-CN”, “zh”, “en”]），符合用户习惯。
- 模拟插件：为 navigator.plugins 设置一个简单的数组，假装浏览器安装了扩展。
- 运行 JavaScript：使用 page.evaluate 在浏览器中执行这些修改。
示例代码：
page.evaluate("""
Object.defineProperty(navigator, 'webdriver', {get: () => undefined});
window.chrome = window.chrome || {};
Object.defineProperty(navigator, 'languages', {get: () => ['zh-CN', 'zh', 'en']});
Object.defineProperty(navigator, 'plugins', {get: () => [1, 2, 3]});
""")
为什么重要？ 许多网站会检查浏览器属性以识别自动化脚本。这些修改让 Playwright 像一个普通用户，顺利通过检测，就像穿上合适的衣服融入人群。
如何应用？ 在页面加载后，使用 page.