一、动态网页为何难倒传统爬虫？
在气象数据领域，高精度数据（如分钟级气温、实时风速）常依赖动态网页呈现。这类页面通过JavaScript异步加载内容，传统爬虫（如 requests + BeautifulSoup ）仅能获取初始HTML，无法解析动态渲染的数据。而Selenium通过模拟浏览器行为，可完整呈现页面内容，成为突破动态限制的关键工具。我们将结合Python与Selenium，详解从环境搭建到数据解析的全流程。
二、动态网页的技术原理与挑战
1. 动态渲染的核心机制
常见动态网页依赖以下技术：
- AJAX：异步加载数据，页面URL不变但内容更新（如气象站点实时数据）。
- SPA（单页应用）：使用Vue.js、React等框架，数据通过JavaScript动态生成。
- 延迟加载：滚动页面时才加载下方数据（如历史气象数据列表）。
2. 传统爬虫的局限性
import requests
from bs4 import BeautifulSoup
url = "https://example.com/weather"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 无法获取动态加载的实时温度
print(soup.find('span', class_='realtime-temperature')) # 输出：None
问题： requests 仅获取初始HTML，JavaScript未执行，数据未加载。
三、Selenium实战：模拟浏览器行为
1. 环境搭建
- 安装Selenium库： pip install selenium
- 下载浏览器驱动：
- Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads
- Firefox：https://github.com/mozilla/geckodriver/releases
2. 基础操作示例
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 配置无头模式（不显示浏览器窗口）
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get("https://example.com/weather")
# 等待页面加载（显式等待）
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "realtime-temperature")))
# 提取数据
temperature = element.text
print(temperature)
driver.quit()
关键步骤：
- 使用 WebDriverWait 显式等待，避免在数据未加载时解析页面。
- 通过 By.CLASS_NAME 、 By.ID 等定位器精准选取元素。
四、突破动态限制的进阶技巧
1. 处理异步加载（AJAX）
若数据通过AJAX动态加载，可监听 document.readyState 状态：
import time
# 等待页面完全加载（包括AJAX请求）
while driver.execute_script("return document.readyState") != "complete":
time.sleep(1)
# 解析数据
2. 滚动页面加载更多数据
适用于分页或无限滚动的气象数据列表：
# 模拟滚动到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2) # 等待数据加载
# 重复滚动直到所有数据加载完毕
3. 处理弹窗与验证码
- 弹窗处理：使用 driver.switch_to.alert.accept() 关闭提示框。
- 验证码识别：
- 手动输入：暂停脚本，人工输入后继续执行。
- 自动识别：结合OCR库（如 pytesseract ）或第三方服务（如百度AI开放平台）。
五、Python与Selenium的高效结合
1. 数据解析与清洗
from bs4 import BeautifulSoup
# 使用Selenium获取完整页面后，用BeautifulSoup解析
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
data = []
for item in soup.find_all('div', class_='weather-item'):
temperature = item.find('span', class_='temp').text
humidity = item.find('span', class_='humidity').text
data.append({
'temperature': temperature,
'humidity': humidity
})
2. 批量爬取与自动化
结合 for 循环批量处理多个气象站点或日期：
stations = ["北京", "上海", "广州"]
for station in stations:
url = f"https://example.com/weather?station={station}"
driver.get(url)
# 解析数据并保存
六、性能优化与反爬应对
1. 性能提升
- 无头模式：减少资源消耗，提升运行速度。
- 隐式等待：设置全局等待时间（ driver.implicitly_wait(10) ）。
2. 反爬策略
- 模拟真实行为：添加随机延迟、模拟鼠标滚动和点击。
- 轮换User-Agent：
from selenium.webdriver.chrome.options import Options
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...")
- IP代理：结合 requests 或第三方库（如 rotating-proxies ）切换IP。
七、合规与注意事项
1. 法律合规：遵守网站 robots.txt 协议，避免爬取敏感数据。
2. 数据使用：仅用于合法用途（如学术研究、个人分析）。
3. 维护成本：动态网页结构易变，需定期检查定位器有效性。
八、通过Python与Selenium的结合，可有效突破动态网页限制，获取高精度气象数据。核心在于理解浏览器渲染机制，灵活运用等待策略和元素定位技巧。无论是实时天气监控还是历史数据采集，掌握这些技术都能显著提升爬虫的实用性与稳定性。