目录
前言
随着互联网发展，Web 应用成为日常生活重要部分，从浏览器访问网页到移动应用获取数据，Web 请求和响应无处不在，理解通过编程实现 Web 请求与响应，对开发 Web 爬虫、API 接口调用及数据交互至关重要，本文将详细介绍如何用 Python 的 requests 库实现 Web 请求与响应，包括发送不同类型 HTTP 请求、处理响应数据、了解常见 HTTP 方法与状态码及捕获异常等内容，助力读者掌握用 Python 与 Web 服务交互的技能。
一、什么是 Web 请求与响应？
Web 请求与响应是 Web 通信的基础。Web 请求由客户端发起，服务器处理后返回响应。
1. Web 请求
Web 请求通常包括以下几个部分：
请求行：包括请求方法（如 GET、POST、PUT、DELETE）、URL 和 HTTP 协议版本（如 HTTP/1.1）。
- 请求头：包含关于客户端信息、请求体类型、浏览器类型等的元数据。
- 请求体：在 POST 请求中包含用户提交的数据，如表单数据或文件。
2. Web 响应
Web 响应由服务器返回，通常包括以下几个部分
- 响应行：包括 HTTP 协议版本、状态码和状态消息。
- 响应头：包括关于响应的信息，如内容类型、服务器信息等。
- 响应体：包含实际返回的数据（如 HTML 页面、JSON 数据等）。
3. HTTP 协议概述
HTTP（Hypertext Transfer Protocol）是 Web 上传输数据的协议，负责浏览器与服务器之间的通信。常见的 HTTP 方法有：
- GET：请求服务器获取资源，通常用于读取数据。
- POST：提交数据到服务器，通常用于表单提交、文件上传等。
- PUT：更新服务器上的资源。
- DELETE：删除服务器上的资源。
4. 常见的 HTTP 状态码包括：
- 200 OK：请求成功，服务器返回所请求的数据。
- 301 Moved Permanently：资源已永久移动。
- 404 Not Found：请求的资源不存在。
- 500 Internal Server Error：服务器内部错误。
二、Python 的 requests 库
Python 的 requests 库是发送 HTTP 请求和处理响应的最常用工具，它提供了简单、直观的 API，使得 Web 请求和响应的操作变得非常容易。通过 requests，我们可以轻松地发送 GET、POST 请求，处理 JSON 响应，管理请求头等。
1. 安装 requests 库
在使用 requests 之前，我们需要先安装它。如果你没有安装，可以通过以下命令安装：
pip3 install requests
2. 发送 GET 请求
GET 请求通常用于获取数据。我们通过 requests.get () 来发送 GET 请求，并可以处理返回的响应。
import requests
# 发送GET请求
response = requests.get("https://www.httpbin.org")
# 输出响应的状态码
print(response.status_code)
# 输出响应的内容
print(response.text)
# 输出响应头
print(response.headers)
# 获取响应内容的长度
print(len(response.text))
代码解释：
- requests.get () 用于发送 GET 请求，获取指定 URL 的数据。
- response.status_code 获取 HTTP 响应状态码。
- response.text 获取响应的正文内容（通常是 HTML 或 JSON 数据）。
- response.headers 获取响应头。
- len (response.text) 返回响应正文的长度，帮助我们了解返回内容的大小。
3. 发送 POST 请求
POST 请求用于将数据提交到服务器，通常用于表单提交或上传文件。我们使用 requests.post () 来发送 POST 请求。
import requests
# 发送POST请求
url = 'https://httpbin.org/post'
data = {'name': 'zhangsan', 'age': 25}
response = requests.post(url, data=data)
# 输出响应状态码
print(response.status_code)
# 输出响应内容（JSON格式）
print(response.json())
代码解释：
- requests.post () 用于发送 POST 请求，将数据提交到服务器。
- data 参数是一个字典，包含了我们要提交的数据。requests 会自动将其编码为 application/x-www-form-urlencoded 格式。
- response.json () 用于解析返回的 JSON 数据。
4. 处理响应头和状态码
响应头提供了关于服务器的信息，状态码则告诉我们请求是否成功。我们可以通过 response.headers 获取响应头，通过 response.status_code 获取状态码。
import requests
# 发送GET请求
response = requests.get("https://www.httpbin.com")
# 获取响应头
print(response.headers)
# 获取响应状态码
print(response.status_code)
# 获取内容类型
print(response.headers.get("Content-Type"))
代码解释：
- response.headers 返回响应头，包含如 Content-Type、Date、Server 等信息。
- response.status_code 返回 HTTP 状态码。
- response.headers.get ("Content-Type") 获取响应的内容类型（如 text/html、application/json）。
5. 发送带查询参数的 GET 请求
在 GET 请求中，我们可以通过 URL 传递查询参数。例如，访问一个包含参数的 URL。
import requests
# 发送带查询参数的GET请求
url = 'https://httpbin.org/get'
params = {'name': 'lisi', 'age': 20}
response = requests.get(url, params=params)
# 输出响应内容
print(response.json())
代码解释：
- params 是一个字典，包含要传递的查询参数。requests.get () 会自动将这些参数编码到 URL 中。
6. 发送带表单数据的 POST 请求
POST 请求可以用来提交表单数据，下面的例子展示了如何使用 requests 发送带表单数据的 POST 请求。
import requests
# 发送带表单数据的POST请求
url = 'https://httpbin.org/post'
data = {'username': 'testuser', 'password': 'mypassword'}
response = requests.post(url, data=data)
# 输出响应的内容
print(response.json())
代码解释：
- data 参数是一个字典，包含表单提交的数据，requests 会自动将数据编码为 application/x-www-form-urlencoded 格式。
三、处理 JSON 响应
许多 Web API 返回的数据格式是 JSON，Python 的 requests 库提供了方便的 JSON 处理方法。
import requests
# 发送GET请求并获取JSON响应
url = "https://api.github.com/users/octocat"
response = requests.get(url)
# 解析JSON数据
data = response.json()
# 输出用户的GitHub信息
print("User Login:", data["login"])
User Login: octocat
print("User Name:", data['name'])
User Name: The Octocat
代码解释：
- response.json () 将响应的内容解析为 Python 字典，方便我们处理 JSON 数据。
四、文件操作
文件操作是 Python 编程中常见的任务。Python 提供了多种方法来读取、写入和管理文件，能够处理文本文件、二进制文件以及目录操作等。掌握文件操作的基础和技巧是高效编程的关键。
1. 打开文件的模式
Python 使用内置的 open () 函数来打开文件。打开文件时，我们需要指定文件模式（即操作文件的方式）。常见的文件模式如下：
（1）常见的文件打开模式
- r：只读模式（默认模式）。文件必须存在。如果文件不存在，会抛出 FileNotFoundError 异常。
- w：写入模式。如果文件存在，会覆盖文件内容。如果文件不存在，会创建新文件。
- a：追加模式。如果文件存在，写入的数据会追加到文件末尾；如果文件不存在，会创建新文件。
- x：独占创建模式。若文件已存在，操作会失败并抛出 FileExistsError 异常。此模式通常用于创建文件时防止覆盖现有文件。
- rb：二进制读取模式，用于读取非文本文件（如图片、音频文件）。
- wb：二进制写入模式，用于写入非文本文件。
- +：读写模式。文件必须存在。既可以读取文件内容，也可以写入数据。
- w+：读写模式。如果文件存在，会覆盖文件内容；如果文件不存在，会创建新文件。
- a+：读写模式。文件存在时，数据会追加到文件末尾；如果文件不存在，会创建新文件。
- rb+：二进制读写模式。
（2）示例：打开文件并使用模式
# 以只读模式打开文件
with open('example.txt', 'r') as file:
content = file.read()
print(content)
# 以写入模式打开文件，文件内容会被覆盖
with open('example.txt', 'w') as file:
file.write("这是新的文件内容。\n")
# 以追加模式打开文件，新的内容会追加到文件末尾
with open('example.txt', 'a') as file:
file.write("追加的内容。\n")
# 以二进制模式打开文件（例如读取图片）
with open('image.jpg', 'rb') as file:
binary_data = file.read()
print("读取到的二进制数据:", binary_data[:20])
2. 读取文件
Python 中的文件读取功能非常强大。以下是几种常见的读取方式：
（1）read () 方法
read () 方法用于读取文件中的所有内容。读取后的内容会作为字符串返回。
with open('example.txt', 'r') as file:
content = file.read()
print(content)
（2）readline () 方法
readline () 方法每次读取一行文件内容，适用于需要逐行处理文件的情况。
with open('example.txt', 'r') as file:
line = file.readline()
while line:
print(line.strip()) # strip()用来去除行末的换行符
line = file.readline()
（3）readlines () 方法
readlines () 方法会一次性读取文件中的所有行，并将每行数据存储为一个列表的元素，适用于需要读取整个文件并进行行处理的情况。
with open('example.txt', 'r') as file:
lines = file.readlines()
for line in lines:
print(line.strip())
3. 写入文件
Python 提供了几种方法将数据写入文件。写入操作常用于日志记录、数据导出等场景。
（1）使用 write () 方法写入文件
write () 方法将指定的字符串写入文件。若文件以 w 模式打开，原文件内容会被覆盖；若以 a 模式打开，内容会被追加到文件末尾。
with open('output.txt', 'w') as file:
file.write("这是第一行数据。\n")
file.write("这是第二行数据。\n")
（2）使用 writelines () 方法写入多行数据
writelines () 方法接受一个可迭代对象（如列表、元组等），将其元素写入文件中，每个元素将作为一行写入文件。
lines = ["第一行数据。\n", "第二行数据。\n", "第三行数据。\n"]
with open('output.txt', 'w') as file:
file.writelines(lines)
4. 下载文件示例
我们可以通过 requests 库来下载文件，并将其保存到本地。例如，下载一个图片文件：
import requests
url = 'https://www.example.com/image.jpg' # 图片URL
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用二进制模式写入文件
with open('downloaded_image.jpg', 'wb') as file:
file.write(response.content)
print("图片下载成功!")
else:
print(f"下载失败,状态码:{response.status_code}")
5. 文件操作中的注意事项
在进行文件操作时，需要注意以下几个问题：
（1）文件是否存在
在打开文件时，必须确保文件路径正确。如果文件不存在，可以使用 os.path.exists () 检查文件是否存在，或者使用 try-except 捕获 FileNotFoundError 异常。
import os
if os.path.exists('example.txt'):
with open('example.txt', 'r') as file:
content = file.read()
else:
print("文件不存在!")
（2）文件权限
在操作文件时，可能会遇到权限不足的问题。例如，尝试写入只读文件，或访问没有读取权限的文件。在这种情况下，可以使用 try-except 来捕获 PermissionError 异常。
try:
with open('readonly_file.txt', 'w') as file:
file.write("尝试写入只读文件")
except PermissionError:
print("权限不足,无法写入文件。")
（3）文件自动关闭
使用 with open () 语句时，Python 会自动管理文件的打开和关闭，无需显式调用 file.close ()。这有助于避免文件未关闭的问题，减少资源泄漏的风险。
6. 其他常用文件操作
（1）获取文件信息
Python 提供了 os 和 os.path 模块，可以获取文件的大小、修改时间等信息。
import os
file_path = 'example.txt'
print("文件大小:", os.path.getsize(file_path), "字节")
print("文件修改时间:", os.path.getmtime(file_path))
（2）删除文件
使用 os.remove () 可以删除文件：
import os
file_path = 'example.txt'
if os.path.exists(file_path):
os.remove(file_path)
print(f"{file_path}已删除!")
else:
print("文件不存在!")
五、错误处理与异常捕获
在进行 Web 请求时，可能会发生各种错误，例如网络超时、服务器错误等。requests 库通过异常处理机制帮助我们捕获这些错误。Python 的 try 语句能够捕获和处理代码块中的异常，从而避免程序崩溃，并且提供了处理错误的机会。
1. try 语句的使用
try 语句用于捕获和处理异常，它由三部分组成：
- try 块：包含可能会引发异常的代码。当代码运行过程中发生错误时，程序会跳到相应的 except 块进行处理。
- except 块：当 try 块中的代码出现异常时，程序会跳转到 except 块执行。在 except 中可以指定要捕获的异常类型，如 Timeout、HTTPError 等。
- else 块（可选）：如果 try 块中的代码没有抛出异常，则会执行 else 块中的代码。
- finally（可选）：无论是否发生异常，finally 块中的代码都会执行，通常用于清理资源（如关闭文件、数据库连接等）。
2. 示例：捕获常见异常
import requests
from requests.exceptions import RequestException, Timeout, HTTPError
try:
# 发送GET请求,并设置超时时间为5秒
response = requests.get("https://www.example.com", timeout=5)
# 如果状态码不是200,抛出HTTPError异常
response.raise_for_status() # 如果状态码是404或500,抛出异常
# 如果请求成功,则输出响应内容
print("Response Body:", response.text)
# 捕获请求超时异常
except Timeout:
print('Request timed out')
# 捕获HTTP错误(如状态码404、500等)
except HTTPError as http_err:
print(f'HTTP error occurred: {http_err}')
# 捕获其他网络相关的错误
except RequestException as req_err:
print(f'Request error occurred: {req_err}')
# 可以在finally块中清理资源(如关闭文件或连接)
finally:
print("Request attempt completed.")
代码解释：
- try 块：首先发起 HTTP 请求，设置超时时间为 5 秒，并使用 response.raise_for_status () 来检查响应的状态码。如果服务器返回了错误的状态码（如 404、500），raise_for_status () 会抛出 HTTPError 异常。
- except 块：
- Timeout：如果请求超时（超过设置的 5 秒），程序会捕获到 Timeout 异常，并打印 "Request timed out"。
- HTTPError：如果响应的状态码表明出现 HTTP 错误（例如 404 表示未找到页面），程序会捕获到 HTTPError 异常，并打印相关错误信息。
- RequestException：捕获其他类型的网络相关错误（如连接问题、DNS 解析失败等）。RequestException 是所有 requests 库异常的基类，可以捕获任何 requests 库抛出的异常。
- finally：finally 中的代码无论是否发生异常都会被执行，通常用于释放资源或做一些收尾工作。这里我们仅打印 "Request attempt completed." 表示请求的结束。
异常处理总结：
- 异常处理让我们在程序运行中捕获到错误并做出相应处理，避免程序崩溃。
- 通过 try...except 结构，可以精确捕获并处理不同类型的异常。
- finally 块用于清理工作，在请求处理完成后可以释放资源（如关闭文件、数据库连接等）。
总结
本文详细介绍了如何使用 Python 的 requests 库进行 Web 请求与响应的操作。通过实际的代码示例，我们展示了如何发送 GET、POST 请求，如何处理查询参数和表单数据，如何解析 JSON 响应，并且了解了如何进行异常捕获和错误处理。掌握了这些基础知识之后，读者可以开始编写自己的 Web 爬虫、API 接口客户端，甚至开发完整的 Web 应用。web 请求与响应是与 Web 进行交互的基础，无论是数据抓取、信息提交，还是 API 调用，Web 请求与响应的技能都不可或缺。希望本文内容能够帮助你更好地理解和应用 Python 进行 Web 开发与数据交互。