python对网页进行爬虫
基于BeautifulSoup的爬虫—源码
"""
基于BeautifulSoup的爬虫
### 一、BeautifulSoup简介
1. Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
2. Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful
3. Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
4. Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。
5. BS基于DOM结构进行页面内容解析，当开始解析时，会将整个页面的DOM树保存于内存中，进而实现查找。
解析器：
1. Python标准库 BeautifulSoup(markup, "html.parser") - Python的内置标准库，执行速度适中，文档容错能力强
2. lxml HTML解析器 BeautifulSoup(markup, "lxml") - 速度快，文档容错能力强，需要安装C语言库
3. lxml XML解析器 BeautifulSoup(markup, "xml") - 速度快，唯一支持XML的解析器，需要安装C语言库
4. html5lib BeautifulSoup(markup, "html5lib") - 最好的容错性，以浏览器的方式解析文档，生成HTML5格式的文档，速度慢，不依赖外部扩展
### 二、具体代码使用
"""
from bs4 import BeautifulSoup
import requests
resp = requests.get('https://www.cnblogs.com/leyinsec')
# 初始化解析器
html = BeautifulSoup(resp.text, 'lxml')
# 查找页面元素,根据标签层次进行查找
# print(html.head.title)
# print(html.head.title.string)
# print(html.div)
# print(html.div.div)
# 查找页面元素的通用方法，find_all,select
# 查找页面所有超链接
def html_href():
links = html.find_all('a')
for link in links:
try:
print(link['href'])
except KeyError:
print("No href attribute found for this tag")
# 查找页面图片
def html_images():
images = html.find_all('img')
for image in images:
print(image['src'])
"""
# 根据id或calss等属性查找
keyword = html.find_all(id='keyword')
print(keyword)
print(keyword['placeholder'])
# 根据title查找
titles = html.find_all(class_='title')
for title in titles:
print(title)
print(title.find('a'))
# 根据text查找
title = html.find(text='leyinsec')
print(title.parent)
# 根据xpath的风格进行查找 //[@class='title' and/or @id=1]
titles = html.find_all('div', {'class': 'title'})
for title in titles:
print(title)
# css选择器
titles = html.select('div.title')
for title in titles:
print(title)
# css选择器查找id
keyword = html.select('#keyword')
try:
print(keyword['placeholder'])
except TypeError:
print("No keyword attribute found for this tag")
# 列表查找
lis = html.select('ul li')
print(lis)
"""
if __name__ == '__main__':
html_images()
基于BeautifulSoup的爬虫—源码解析
这段代码是一个基于BeautifulSoup库的简单爬虫示例，用于从指定的网页中提取超链接和图片链接。下面是对代码的详细分析：
导入库
from bs4 import BeautifulSoup
import requests
这两行代码导入了编写爬虫所需的两个库：BeautifulSoup用于解析HTML文档，requests用于发送HTTP请求。
发送HTTP请求
resp = requests.get('https://www.cnblogs.com/leyinsec')
这行代码使用requests库向指定的URL发送GET请求，并将响应存储在变量resp中。
解析HTML文档
html = BeautifulSoup(resp.text, 'lxml')
这行代码使用BeautifulSoup解析HTTP响应中的文本内容。这里使用了'lxml'作为解析器，因为它通常比Python内置的解析器更快且具有更好的容错性。
定义查找页面元素的函数
查找所有超链接
def html_href():
links = html.find_all('a')
for link in links:
try:
print(link['href'])
except KeyError:
print("No href attribute found for this tag")
这个函数查找HTML文档中所有的<a>标签，并尝试打印出每个链接的href属性。如果某个<a>标签没有href属性，则会捕获KeyError异常并打印一条消息。
查找所有图片
def html_images():
images = html.find_all('img')
for image in images:
print(image['src'])
这个函数查找HTML文档中所有的<img>标签，并打印出每个图片的src属性。
根据属性查找元素
keyword = html.find_all(id='keyword')
print(keyword)
print(keyword['placeholder'])
这段代码尝试查找具有特定id属性的元素，并打印出该元素及其placeholder属性。但是这里有一个错误：keyword是一个列表，所以不能直接使用keyword['placeholder']。应该遍历列表并分别访问每个元素的属性。
根据类名查找元素
titles = html.find_all(class_='title')
for title in titles:
print(title)
print(title.find('a'))
这段代码查找所有具有title类的元素，并打印出这些元素及其内部包含的<a>标签。
根据文本查找元素
title = html.find(text='leyinsec')
print(title.parent)
这段代码查找文本内容为leyinsec的元素，并打印出该元素的父元素。
使用CSS选择器查找元素
titles = html.select('div.title')
for title in titles:
print(title)
这段代码使用CSS选择器语法查找所有具有title类的<div>元素，并打印它们。
查找具有特定ID的元素
keyword = html.select('#keyword')
try:
print(keyword['placeholder'])
except TypeError:
print("No keyword attribute found for this tag")
这段代码试图查找具有特定ID的元素，并打印其placeholder属性。但是这里同样有一个错误：keyword是一个列表，所以不能直接使用keyword['placeholder']。应该遍历列表并分别访问每个元素的属性。
列表查找
lis = html.select('ul li')
print(lis)
这段代码查找所有在<ul>标签内的<li>元素，并打印出这个列表。
主函数调用
if __name__ == '__main__':
html_images()
这段代码确保当脚本作为主程序运行时，调用html_images()函数来执行图片链接的查找和打印。
总结
这段代码展示了如何使用BeautifulSoup库来解析HTML文档，并通过不同的方法查找和提取页面元素。需要注意的是，代码中有一些错误需要修正，特别是在处理查找结果为列表的情况时。此外，代码中没有处理网络请求可能出现的异常，例如连接错误或HTTP错误状态码。在实际应用中，应该添加适当的异常处理来提高代码的健壮性。
基于正则表达式的爬虫—源码
"""
基于正则表达式的爬虫
以下是提取的文章内容：
### 一、爬虫简介
1. **搜索引擎**：百度，谷歌，企业内部的知识库，某些项目专项数据爬取，专业的数据爬取。
2. **互联网**：
- 公网（不需要授权的情况就可以浏览的内容，搜索引擎的重点）
- 深网（需要授权才能使用的内容）
- 暗网（非正式渠道，无法使用常规手段访问）
3. **爬取互联网的公开信息**，但是正常情况下，也需要遵守一个规则：robots协议：[https://www.baidu.com/robots.txt](https://www.baidu.com/robots.txt)（君子协议）
### 二、基本原理
1. **所有和网页，均是HTML**：
- HTML首先是一个大的字符串，可以按照字符串处理的方式对响应进行解析处理。
- 其次，HTML本身也是一门标记语言，与XML是同宗同源，所以可以使用DOM对其文本进行处理。
2. **所有的爬虫，核心基于超链接**，进而实现网站和网页的跳转。给我一个网站，爬遍全世界。
3. **如果要实现一个整站爬取**，首先要收集到站内所有网址，并且将重复网址去重，开始爬取内容并保存在本地数据库，进行实现后续目标。
### 三、正则表达式实现
"""
import re
import time
import requests
def download_page():
resp = requests.get('https://www.cnblogs.com/leyinsec')
# 解析网页所有超链接
links = re.findall('<a href="(.+?)"', resp.text)
for link in links:
# 排除无用链接
if 'postid' in link or 'archive' in link:
continue
elif link.startswith('javascript'):
continue
# 将页面文件保存在本地
resp = requests.get(link)
resp.encoding = 'utf-8'
filename = link.split('/')[-1] + time.strftime("_%Y%m%d_%H%M%S") + '.html'
with open(f'page/leyinsec博客园/{filename}', 'w', encoding='utf-8') as file:
file.write(resp.text)
def download_images():
resp = requests.get('https://www.cnblogs.com/leyinsec')
images = re.findall('<img src="(.+?)"', resp.text)
for image in images:
if image.startswith('/'):
image = 'https://www.cnblogs.com/leyinsec' + image
# 下载图片
resp = requests.get(image)
filename = time.strftime("_%Y%m%d_%H%M%S") + image.split('/')[-1]
with open('page/leyinsec博客园/photos/' + filename, 'wb') as file:
file.write(resp.content)
if __name__ == '__main__':
download_page()
download_images()
基于正则表达式的爬虫—源码解析
这段代码是一个简单的基于正则表达式的爬虫，用于从指定的网页中提取超链接和图片链接，并将它们保存到本地文件系统中。下面是对代码的详细分析：
导入库
import re
import time
import requests
这三行代码导入了编写爬虫所需的三个库：re用于处理正则表达式，time用于处理时间相关的功能，requests用于发送HTTP请求。
下载网页内容的函数
def download_page():
resp = requests.get('https://www.cnblogs.com/leyinsec')
# 解析网页所有超链接
links = re.findall('<a href="(.+?)"', resp.text)
for link in links:
# 排除无用链接
if 'postid' in link or 'archive' in link:
continue
elif link.startswith('javascript'):
continue
# 将页面文件保存在本地
resp = requests.get(link)
resp.encoding = 'utf-8'
filename = link.split('/')[-1] + time.strftime("_%Y%m%d_%H%M%S") + '.html'
with open(f'page/leyinçsec博客园/{filename}', 'w', encoding='utf-8') as file:
file.write(resp.text)
这个函数首先发送一个GET请求到指定的URL，然后使用正则表达式查找所有的超链接。对于每个找到的链接，它会检查链接是否包含特定的字符串（如'postid'或'archive'），或者是否以'javascript'开头，如果是，则跳过该链接。对于其他链接，它会发送另一个GET请求以获取网页内容，并将其保存到本地文件系统中，文件名包含时间戳以确保唯一性。
下载图片的函数
def download_images():
resp = requests.get('https://www.cnblogs.com/leyinsec')
images = re.findall('<img src="(.+?)"', resp.text)
for image in images:
if image.startswith('/'):
image = 'https://www.cnblogs.com/leyinsec' + image
# 下载图片
resp = requests.get(image)
filename = time.strftime("_%Y%m%d_%H%M%S") + image.split('/')[-1]
with open('page/leyinsec博客园/photos/' + filename, 'wb') for file:
file.write(resp.content)
这个函数的工作方式与download_page函数类似，但是它查找的是<img>标签中的src属性。对于每个找到的图片链接，如果链接是相对路径（以'/'开头），它会将其转换为绝对路径。然后，它会发送GET请求以下载图片，并将其保存到本地文件系统中，文件名同样包含时间戳。
主函数调用
if __name__ == '__main__':
download_page()
download_images()
这段代码确保当脚本作为主程序运行时，调用download_page()和download_images()函数来执行网页内容和图片的下载。
注意事项和潜在问题
硬编码的URL：代码中硬编码了要爬取的网站URL，这限制了脚本的通用性。
缺乏异常处理：代码中没有处理网络请求可能出现的异常，例如连接错误或HTTP错误状态码。
缺乏robots.txt检查：代码没有检查目标网站的robots.txt文件，这可能会违反网站的爬虫政策。
文件路径错误：在
download_page函数中，文件路径字符串有一个小错误，leyinçsec应该是leyinsec。重复下载：代码没有实现去重逻辑，可能会下载重复的网页或图片。
编码问题：代码假设所有网页和图片都可以使用UTF-8编码，这可能不总是正确的。
性能问题：对于大型网站，这种简单的递归下载方法可能会导致大量的并发请求，从而对目标服务器造成压力。
总结
这段代码展示了如何使用正则表达式和requests库来爬取网页内容和图片，并将它们保存到本地。然而，代码中存在一些问题和潜在的改进空间，特别是在异常处理、遵守robots.txt规则、错误处理和性能方面。在实际应用中，应该考虑这些问题，并采取相应的措施来提高代码的健壮性和效率。