Python中的Requests库：HTTP请求的简单之道
目录
一、安装Requests库
二、发送请求
2.1 GET请求
2.2 POST请求
2.3 其他HTTP方法
三、处理响应
3.1 状态码
3.2 响应内容
3.3 自定义请求头
3.4 更多响应对象属性和方法
四、错误处理
五、高级请求
5.1 会话对象
5.2 SSL证书验证
5.3 设置代理
Http/Https代理
使用 SOCKS 代理
高级代理配置
六、其他拓展
chardet库
在Python的世界里，网络请求是日常开发中不可或缺的一部分。从简单的数据获取到复杂的API交互，我们都需要用到HTTP请求。而Requests库，作为Python中处理HTTP请求的利器，以其简洁的API和强大的功能，赢得了广大开发者的青睐。
一、安装Requests库
在开始之前，您需要确保已经安装了Requests库。如果您尚未安装，可以通过pip安装：
pip install requests
二、发送请求
使用Requests发送请求非常简单。下面是一些基本示例：
2.1 GET请求
GET请求是最常见的HTTP请求类型之一，用于从指定的资源请求数据。
import requestsresponse = requests.get('https://api.github.com')print(response.status_code) # 打印状态码
print(response.content) # 打印响应内容
2.2 POST请求
POST请求通常用于提交数据给指定的资源，比如提交表单。
import requestsdata = {'key': 'value'}
response = requests.post('https://httpbin.org/post', data=data)print(response.json()) # 打印JSON响应内容
2.3 其他HTTP方法
类似地，Requests支持其他所有HTTP方法：PUT、DELETE、HEAD、OPTIONS、PATCH。
response = requests.put('https://httpbin.org/put', data={'key': 'value'})
response = requests.delete('https://httpbin.org/delete')
response = requests.head('https://httpbin.org/get')
response = requests.options('https://httpbin.org/get')
response = requests.patch('https://httpbin.org/patch', data={'key': 'value'})
三、处理响应
当你发送一个请求后，Requests会返回一个响应对象。这个对象包含了请求的结果，例如：内容、编码、状态码等。
3.1 状态码
你可以通过status_code属性来获取服务器响应的HTTP状态码。
response = requests.get('https://api.github.com')
status_code = response.status_code
if status_code == 200:print('Success!')
elif status_code == 404:print('Not Found.')
3.2 响应内容
你可以使用text或content属性来获取服务器返回的内容。text属性会基于HTTP头部对响应的编码进行解码，而content是字节码形式。
response = requests.get('https://api.github.com')
print(response.text) # 返回Unicode格式的响应文本
print(response.content) # 返回字节流格式的响应内容
如果响应是JSON格式，可以直接使用json()方法将其解析成Python的字典格式。
response = requests.get('https://api.github.com')
if response.status_code == 200:print(response.json()) # 解析JSON响应
3.3 自定义请求头
Requests允许你发送自定义的HTTP头部。你可以通过传递一个字典给headers参数来实现。
headers = {'User-Agent': 'My App/0.0.1','Accept': 'application/vnd.github.v3+json',
}response = requests.get('https://api.github.com', headers=headers)
3.4 更多响应对象属性和方法
| 属性/方法 | 描述 |
|---|---|
status_code | 一个表示HTTP响应状态码的整数。例如，200表示成功，404表示未找到。 |
text | 响应内容的字符串形式，Requests根据HTTP头部的编码进行自动解码。 |
content | 响应内容的原始字节形式，适用于非文本响应内容。 |
json() | 如果响应内容是JSON格式，这个方法会解析响应内容并返回一个字典。 |
headers | 一个字典，包含HTTP响应的头部。头部名称全部为小写。 |
url | 获取发出请求的URL。 |
cookies | 一个CookieJar对象，包含服务器发送的所有cookies。 |
history | 如果有重定向，这是一个响应对象的列表，包含了历史中间的响应对象。 |
encoding | 从HTTP头部中推断出的响应内容编码。你可以修改这个属性来改变文本的编码。 |
reason | 与响应的状态码对应的文本表示，例如'Not Found'或'OK'。 |
elapsed | 一个timedelta对象，表示从发送请求到响应被完全接收的时间间隔。 |
raise_for_status() | 如果响应的状态码指示一个HTTP错误，将抛出一个HTTPError异常。 |
iter_content() | 一个生成器，逐块提供响应内容，可以指定每块的大小。用于流式下载。 |
iter_lines() | 一个生成器，按行迭代响应内容，适用于流式下载文本内容。 |
| raw | 原始响应对象，通常用于低级的响应处理，如：文件下载。 |
| ok | 一个快速检查响应是否成功的布尔值（状态码在200-400之间）。 |
| is_redirect | 如果响应是重定向，返回True。 |
| is_permanent_redirect | 如果响应是一个永久重定向，返回True。 |
| links | 返回包含解析头部中链接的字典（如Link响应头）。 |
| next | 如果有可用的下一个请求的URL，这个属性将包含这个URL。 |
| apparent_encoding | 字符集检测库（chardet）的推断编码，它可能不总是正确的。 |
| connection | HTTP连接对象。 |
| iter_content(chunk_size=1, decode_unicode=False) | 按照指定的块大小迭代响应数据，可选的解码Unicode。 |
| iter_lines(chunk_size=512, decode_unicode=None, delimiter=None) | 逐行迭代响应，允许指定行分隔符。 |
| close() | 释放网络连接（如果是保持活动状态的话）。 |
四、错误处理
当发生网络问题（如：DNS查询失败、拒绝连接等）或者失败的请求（请求超时、HTTP响应错误等）时，Requests可以抛出一个异常。
from requests.exceptions import HTTPError, Timeouttry:response = requests.get('https://api.github.com', timeout=1)response.raise_for_status()
except HTTPError as http_err:print(f'HTTP error occurred: {http_err}')
except Timeout as timeout_err:print(f'Timeout error occurred: {timeout_err}')
except Exception as err:print(f'Other error occurred: {err}')
五、高级请求
Requests还支持更高级的功能，比如会话对象、SSL证书验证、Cookie持久化等。
5.1 会话对象
会话对象允许你跨请求保持某些参数。它也会在同一个Session实例发出的所有请求之间保持cookie。
with requests.Session() as session:session.get('https://httpbin.org/cookies/set/sessioncookie/123456789')response = session.get('https://httpbin.org/cookies')print(response.text) # 显示cookie信息
5.2 SSL证书验证
默认情况下，Requests会验证SSL证书，但你可以禁用它。
requests.get('https://kennethreitz.com', verify=False)
请注意，不建议在生产代码中禁用SSL证书验证，因为这会导致安全问题。
5.3 设置代理
Requests 库支持 HTTP 代理，这意味着您可以通过指定代理服务器来发送请求，从而隐藏您的原始 IP 地址或绕过网络限制。以下是关于如何在 Requests 中使用代理的简要说明。
Http/Https代理
要在请求中使用代理，您可以在发送请求时通过 proxies 参数传递一个代理字典。例如：
import requestsproxies = {'http': 'http://10.10.1.10:3128','https': 'https://10.10.1.11:1080',
}response = requests.get('http://example.org', proxies=proxies)
在上面的代码中，我们定义了一个 proxies 字典，其中包含用于 HTTP 和 HTTPS 请求的代理服务器地址。然后，我们在 requests.get() 函数的 proxies 参数中使用了这个字典。
使用 SOCKS 代理
Requests 也支持 SOCKS 协议，但这需要安装额外的第三方库 PySocks（可以通过 pip install PySocks 来安装）。一旦安装了 PySocks，您就可以使用 SOCKS 协议的代理。例如：
import requestsproxies = {'http': 'socks5://user:password@host:port','https': 'socks5://user:password@host:port'
}response = requests.get('http://example.org', proxies=proxies)
高级代理配置
Requests 库还允许您进行更高级的代理配置。比如，如果您想对某个特定的网站使用代理，而其他网站不使用，您可以针对特定主机设置代理：
import requestsproxies = {'http': 'http://10.10.1.10:3128','http://some.site': 'http://10.10.1.10:3128',
}response = requests.get('http://some.site', proxies=proxies)
六、其他拓展
chardet库
结合
requests和chardet可以很方便地处理网络请求中的编码问题。requests库虽然在许多情况下能够自动处理响应的编码，但在一些复杂或特殊的情景中，自动检测的编码可能不准确。在这种情况下，chardet可以作为一个强大的工具来帮助确定正确的字符编码。
基本流程
- 发送网络请求：首先使用
requests发送HTTP请求。 - 获取原始字节内容：从响应中获取未解码的原始字节内容。
- 使用
chardet检测编码：将原始字节内容传递给chardet.detect()函数，获取可能的编码。 - 解码内容：根据
chardet返回的编码信息，解码原始字节内容。
示例代码
import requests
import chardet# 发送网络请求
response = requests.get('http://example.com')# 获取响应的原始字节内容
raw_bytes = response.content# 使用chardet检测字节串的编码
detected_info = chardet.detect(raw_bytes)
encoding = detected_info['encoding']# 根据检测到的编码解码字节串
if encoding:decoded_content = raw_bytes.decode(encoding)print(decoded_content)
else:print("编码检测失败")
注意事项
- 字符编码检测不是100%准确的。
chardet提供了一个自信度分数，表示它对推测的准确性有多确信，但有时它可能也会猜错。- 对于较短的文本，检测的准确性可能会降低，因为可用于分析的样本数量较少。
chardet可能会比较慢，尤其是在处理大文件时。如果性能是一个问题，应该考虑仅在必要时使用它。- 在某些场景下，已知的或预期的编码，手动指定编码可能更为高效和准确。