最易上手的爬虫请求库:Requests核心功能速览(下)
上一个章节我们讲了如何快速使用Requests
发送网络请求、处理URL
参数和提取响应内容,这些是最基本的操作。
然而还有很多场景下,我们的网络请求更加复杂。比如我们必须要定制请求头来假装成浏览器,不然可能会被网站识别为机器并且被屏蔽;又比如我们需要在发送请求时以表单形式携带部分参数,以获得定制化的响应结果;甚至我们还要在请求时上传一个文件……
今天我们就来看一下如何在Requests
中优雅地实现这些功能。
一、定制请求头
这里的用法和urllib.request.Request
类里的请求头定制方法相似,都是将请求头的信息以字典的形式传给headers
参数,比如:
import requestsheaders = {'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ''(KHTML, like Gecko) Chrome/109.0.0.0 Safar