scrapy——playwright与selenium比较

Scrapy-Playwright 和 Selenium 在 Scrapy 中的集成方式存在本质差异。(水一篇~）

架构设计差异

实现原理

Scrapy-Playwright由scrapy管理调用，而selenium则需要重写中间件处理流程。

scrapy-playwright

# settings.py
DOWNLOAD_HANDLERS = {
    "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
    "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler"
}
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"

• 自动检测：当请求的meta中包含playwright键时，自动使用Playwright处理。
• 基于Python的asyncio实现非阻塞操作。
• 与Scrapy的Twisted架构无缝集成。

Selenium

# 每次请求创建新实例（重要！）
                options = webdriver.ChromeOptions()
                options.binary_location = self.settings.get("CHROME_BINARY_PATH")
                options.add_argument('--no-sandbox')
                options.add_argument('--disable-dev-shm-usage')
                options.add_argument('--headless')  # 无头模式
                options.add_argument('--disable-gpu')  # Windows 无头模式可能需要
                # 设置用户数据存储路径
                profile_path = r"E:\selenium\data\profiles"
                cache_path = r"E:\selenium\data\caches"
                options.add_argument(f'--user-data-dir={profile_path}')
                options.add_argument(f'--disk-cache-dir={cache_path}')

                service = Service(executable_path=self.driver_path)
                self.driver = webdriver.Chrome(
                    service=service,  # ✅ 使用service参数
                    options=options
                )

                self.driver.get(request.url)
                self._auto_scroll()
                return HtmlResponse(
                    url=request.url,
                    body=self.driver.page_source.encode('utf-8'),
                    request=request
                )
            finally:
                # 确保关闭浏览器
                if self.driver:
                    self.driver.quit()
                self.driver = None  # 重置实例
                gc.collect()  # 垃圾回收

• 必要的手动管理：

  • 需要维护浏览器实例池（防止资源泄露）

  • 必须处理同步到异步的转换（通常用线程池）

  • 需手动实现页面等待逻辑

性能关键差异