小白爬虫——selenium入门超详细教程

发布于：2024-12-06 ⋅ 阅读:(116) ⋅ 点赞:(0)

一、selenium简介

        Selenium是一个用于自动化测试的工具，它可以模拟用户在浏览器中的各种操作。除了用于爬虫，Selenium还可以用于测试，尤其是在处理动态加载页面时非常有用。本文将提供一个超级详细的Selenium教程，以帮助您快速入门并了解其各种功能和用法。

二、环境安装

2.1、安装Selenium

        在终端通过pip安装：

1|pip install selenium

2.2、浏览器驱动安装

        针对不同的浏览器，安装不同的驱动：（本文以Edge浏览器为例）

         2.2.1、查看浏览器的版本

        2.2.2、下载对应版本的驱动程序

        下载网址链接：Microsoft Edge WebDriver |Microsoft Edge 开发人员

        2.2.3、解压获取exe文件地址

三、基本操作

3.1、对页面进行操作

3.1.1、初始化webdriver

        在使用Selenium之前，我们需要初始化WebDriver。WebDriver是一个控制浏览器的工具，它可以模拟用户在浏览器中的各种操作。Selenium支持多种浏览器，如Chrome、Firefox、Safari等。下面是一些示例代码，展示如何初始化Edge、Chrome和Firefox浏览器的WebDriver：

from selenium import webdriver

# 初始化Edge浏览器
driver = webdriver.Edge()
# 初始化Chrome浏览器
driver = webdriver.Chrome()
# 初始化Firefox浏览器
driver = webdriver.Firefox()

3.1.2、打开网页

        一旦我们初始化好了WebDriver，接下来我们就可以使用它来打开网页。下面是一些示例代码，展示如何使用WebDriver打开网页：

from selenium import webdriver

# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
driver.get("https://www.jd.com/")

3.1.3、页面操作

        一旦我们打开了网页，我们就可以使用WebDriver来模拟各种用户操作，如设置窗口最大化、设置窗口位置、设置窗口大小等。下面是一些示例代码，展示如何在网页中进行一些常见的操作：

import time

from selenium import webdriver

# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()
# 设置浏览器的窗口位置
driver.set_window_position(1100, 20)
# 设置浏览器的窗口大小
driver.set_window_size(900, 900)
time.sleep(5)

3.1.4、页面数据提取

        除了操作页面，Selenium还可以用于提取页面的源代码。我们可以使用WebDriver的page_source来获取页面源代码，下面是示例代码，展示如何提取页面中的数据：

import time
from selenium import webdriver

# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()
# 设置浏览器的窗口位置
driver.set_window_position(1100, 20)
# 设置浏览器的窗口大小
driver.set_window_size(900, 900)
time.sleep(5)
# 获取页面源代码
page_content = driver.page_source
# 打印获取内容
print(page_content)

3.1.5、关闭页面

        当我们完成了对网页的操作和数据提取后，最后不要忘记关闭WebDriver。关闭WebDriver将会关闭浏览器窗口，并释放相关的资源。下面是示例代码，展示如何关闭WebDriver：

import time
from selenium import webdriver

# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()
time.sleep(2)
# 获取页面数据
page_content = driver.page_source
# 打印页面数据内容
print(page_content)
# 关闭一个页面
driver.close() 
# 关闭全部页面
driver.quit()

 3.1.6、综合小案例

"""
@Author :江上挽风&sty
@Blog(个人博客地址):https://blog.csdn.net/weixin_56097064
@File :Selenium爬虫
@Time :2024/12/5 11:19
@Motto:一直努力，一直奋进，保持平常心

"""
import time

from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.edge.options import Options

url = "https://www.baidu.com/"
url1 = "https://www.jd.com/"
# Service类用于设置WebDriver服务，这里指定了Edge浏览器驱动程序的路径
service = Service(executable_path='D:\ApplicationsSoftware\EdgeDriver\edgedriver_win32\msedgedriver.exe')
opt = Options()
opt.add_argument("--disable-blink-features=AutomationControlled")
# 使用上面定义的服务对象来创建一个Edge浏览器的WebDriver对象，这个对象可以模拟浏览器操作
browser = webdriver.Edge(service=service,options=opt)
# 调用maximize_window方法，使浏览器窗口最大化显示
browser.maximize_window()
# 设置浏览器的窗口位置
# browser.set_window_position(1100, 20)
# 设置浏览器的窗口大小
# browser.set_window_size(900, 900)
# 使用get方法通过url打开指定的网页
browser.get(url)
# time模块的sleep函数用于暂停程序执行，这里暂停5秒，以便有足够的时间观察网页加载情况
time.sleep(2)
# 通过url访问另一个网页
browser.get(url1)
time.sleep(2)
# 调用back返回上一个网页
browser.back()
time.sleep(2)
# 调用forward（）函数前往下一个网页
browser.forward()
time.sleep(1)
# 刷新页面
browser.refresh()
time.sleep(1)
# 调用page_source获取网页内容
page_content = browser.page_source
print(page_content)
# 最后，调用close方法关闭浏览器窗口
browser.close()

3.2、对页面元素进行操作

3.2.1、获取页面链接元素

        鼠标右键然后选择检查（或者按F12），获取页面的全部元素，然后选中元素，进行复制。

from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()
# 模拟点击百度页面链接进行跳转
# 获取页面元素
link = driver.find_element(by=By.XPATH,value="//*[@id='hotsearch-content-wrapper']/li[1]/a/span[2]")
# 链接跳转
link.click()

        我们在实际使用浏览器的时候，很重要的操作有输入文本、点击确定等等。对此，Selenium提供了一系列的方法来方便我们实现以上操作。通过webdriver对象的 find_element(by=“属性名”, value=“属性值”)，主要包括以下这八种：

属性 函数
CLASS find_element(by=By.CLASS_NAME, value=‘’)
XPATH find_element(by=By.XPATH, value=‘’)
LINK_TEXT find_element(by=By.LINK_TEXT, value=‘’)
CSS find_element(by=By.CSS_SELECTOR, value=‘’)
ID find_element(by=By.ID, value=‘’)
TAG find_element(by=By.TAG_NAME, value=‘’)
PARTIAL_LINK_TEXT find_element(by=By.PARTIAL_LINK_TEXT, value=‘’)

3.2.2、模拟鼠标的基本操作

        首先，我们需要引入Keys类。

from selenium.webdriver.common.keys import Keys

        其次，模型通过百度搜索python爬虫。

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()

# 模拟点击百度页面链接进行跳转
# 获取页面元素
search_element = driver.find_element(by=By.XPATH,value="//*[@id='kw']")
# 模拟向输入框中输入python爬虫并回车
search_element.send_keys('python爬虫', Keys.ENTER)
time.sleep(10)

        基本操作：

具体操作 函数
删除键 send_keys(Keys.BACK_SPACE)
空格键 send_keys(Keys.SPACE)
制表键 send_keys(Keys.TAB)
回退键 send_keys(Keys.ESCAPE)
回车 send_keys(Keys.ENTER)
全选 send_keys(Keys.CONTRL,‘a’)
复制 send_keys(Keys.CONTRL,‘c’)
剪切 send_keys(Keys.CONTRL,‘x’)
粘贴 send_keys(Keys.CONTRL,‘x’)
键盘F1 send_keys(Keys.F1)

3.2.3、页面加载策略和延时等待

        页面加载策略是指在浏览器中加载网页时，Selenium WebDriver等待页面加载完成的行为。这些策略可以帮助我们控制WebDriver在页面加载时的行为，以适应不同的测试需求和性能优化。选择合适的页面加载策略可以显著影响测试的执行时间和稳定性。例如，在单页应用中，由于页面内容是动态加载的，使用eager或none策略可能更合适，因为它们可以更快地响应页面的变化。而在需要完全加载所有资源以确保页面功能正常的测试中，使用normal策略可能更合适以下是Selenium支持的页面加载策略：

页面加载策略 特点
normal 这是默认的页面加载策略。在这种策略下，WebDriver会等待整个页面包括所有子资源（如图像、CSS、JavaScript等）都加载完成，直到触发load事件后才会继续执行后续的操作。这意味着WebDriver会等待页面完全加载，包括所有的外部资源加载完成
eager 在eager策略下，WebDriver会等待文档被完全加载和解析完成，但不会等待样式表、图像和iframe等子资源加载完成。这通常意味着WebDriver会等待DOMContentLoaded事件触发后继续执行，这比load事件更早
none 使用none策略时，WebDriver不会等待页面加载完成，它仅等待初始的HTML被部分下载后就会停止等待，允许脚本继续执行。这意味着WebDriver不会等待任何额外的资源加载，如CSS、JavaScript或图像

        在Selenium中，设置WebDriver等待是一种重要的技术，用于确保在执行某些操作之前，页面上的元素已经加载完成或者某个条件已经满足。Selenium提供了两种主要的等待机制：显式等待（Explicit Wait）和隐式等待（Implicit Wait）。

        显式等待：显式等待允许你等待某个条件成立，而不是盲目地等待一个固定的时间。它提供了更灵活的控制，可以等待特定的元素出现、元素变得可点击、元素的可见性等。下面包含常用的显式等待方法：

"""
@Author :江上挽风&sty
@Blog(个人博客地址):https://blog.csdn.net/weixin_56097064
@File :练习
@Time :2024/12/5 13:57
@Motto:一直努力，一直奋进，保持平常心

"""
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
# 导入显式等待库
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()
# 设置显式等待，最多等待10秒
wait = WebDriverWait(driver, 10)
try:
    # 等待直到某个元素出现
    element = wait.until(EC.presence_of_element_located((By.XPATH, "//*[@id='kw']")))
except:
    print("未找到元素")
    driver.close()
    exit()
# 获取页面元素
search_element = driver.find_element(by=By.XPATH,value="//*[@id='kw']")
# 模拟向输入框中输入python爬虫并回车
search_element.send_keys('python爬虫', Keys.ENTER)
time.sleep(10)
driver.close()

        隐式等待：隐式等待设置了一个全局等待时间，在这个时间内，WebDriver会等待某个元素出现。如果在设置的时间内找到了元素，WebDriver会继续执行；如果超时，则抛出NoSuchElementException异常。

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
# 初始化Edge浏览器
driver = webdriver.Edge()
# 设置隐式等待5秒钟
driver.implicitly_wait(5)
driver.get("https://www.baidu.com/")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()

# 模拟点击百度页面链接进行跳转
# 获取页面元素
search_element = driver.find_element(by=By.XPATH,value="//*[@id='kw']")
# 模拟向输入框中输入python爬虫并回车
search_element.send_keys('python爬虫', Keys.ENTER)
time.sleep(10)
driver.close()

3.2.4、切换窗口

        在 selenium 操作页面的时候，可能会因为点击某个链接而跳转到一个新的页面（打开了一个新标签页），这时候 selenium 实际还是处于上一个页面的，需要我们进行切换才能够定位最新页面上的元素。

"""
@Author :江上挽风&sty
@Blog(个人博客地址):https://blog.csdn.net/weixin_56097064
@File :练习
@Time :2024/12/5 13:57
@Motto:一直努力，一直奋进，保持平常心

"""
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.edge.service import Service
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Service类用于设置WebDriver服务，这里指定了Edge浏览器驱动程序的路径
service = Service(executable_path='D:\ApplicationsSoftware\EdgeDriver\edgedriver_win32\msedgedriver.exe')
opt = Options()
opt.add_argument("--disable-blink-features=AutomationControlled")
opt.page_load_strategy = 'eager'
# 初始化Edge浏览器
driver = webdriver.Edge()
driver.get("https://www.readnovel.com/book/22312481000716402#Catalog")
# 调用maximize_window方法，使浏览器窗口最大化显示
driver.maximize_window()
time.sleep(3)
locator = (By.XPATH, '//*[@id="j-catalogWrap"]/div[2]/div[2]/ul/li/a')
WebDriverWait(driver, 5).until(EC.presence_of_all_elements_located(locator))
# //*[@id="j-catalogWrap"]/div[2]/div[2]/ul/li[1]/a
# //*[@id="j-catalogWrap"]/div[2]/div[2]/ul/li[14]/a
# //*[@id="j-catalogWrap"]/div[2]/div[2]/ul/li[15]/a
next_page = driver.find_elements(by=By.XPATH, value="//*[@id='j-catalogWrap']/div[2]/div[2]/ul/li/a")

for next in next_page:

    next.click()
    a = str(next.get_attribute('href').split("/")[-1])
    print(a)
    time.sleep(2)

    driver.execute_script('$(".lbf-panel-head").css("display","none")')
    driver.execute_script('$(".lbf-panel-body").css("display","none")')
    # link = driver.find_element(by=By.ID, value='//*[@id="j_closeGuide"]')
    # link.click()
    # locator1 = (By.XPATH, '//*[@id="chapter-95831384777767481"]/div/div[1]/h1')
    # locator1 = (By.XPATH, '//*[@id="chapter-95831384777833017"]/div/div[1]/h1')95831384777833017


    driver.switch_to.window(driver.window_handles[-1])
    # WebDriverWait(driver,20).until(EC.presence_of_element_located(locator1))
    time.sleep(5)
    # filename = driver.find_element(by=By.XPATH,value='//*[@id="chapter-id}]/div/div[1]/h1').text
    filename = driver.find_element(by=By.XPATH, value=f'//*[@id="chapter-{a}"]/div/div[1]/h1').text
    content = driver.find_element(by=By.XPATH,value=f'//*[@id="chapter-{a}"]/div/div[2]/div').text
    with open(f'D:\ProjectCode\Spider\StudySpider07\\{filename}.txt', 'w', encoding='utf-8') as f:
        f.write(content)
        print(f'已下载{filename}')
        driver.switch_to.window(driver.window_handles[0])

网站公告

今日签到

点亮在社区的每一天
去签到

热门文章

最新发布