当前位置: 首页 > news >正文

深入解析Python `requests`库源码,揭开HTTP请求的神秘面纱!

🔸 第一部分:requests库的入口

我们从requests库的入口开始,通常我们会使用 requests.get()requests.post() 等方法发送HTTP请求。那么,这些方法背后究竟做了些什么呢?我们从requests.get()方法开始看起:

# requests/__init__.py
def get(url, params=None, **kwargs):"""Sends a GET request."""return request('get', url, params=params, **kwargs)

🔹 requests.get() 实际上是调用了内部的 request() 方法,并将 'get' 作为请求方法传入。让我们进一步深入 request() 方法。


🔸 第二部分:request方法揭秘

requests库中,request() 方法负责构建和发送所有类型的HTTP请求:

# requests/api.py
def request(method, url, **kwargs):session = sessions.Session()return session.request(method=method, url=url, **kwargs)

🔹 request() 方法创建了一个 Session 对象,然后调用了 session.request()。这意味着实际的请求处理是由 Session 对象完成的。


🔸 第三部分:Session对象的奥秘

Session 对象在requests库中扮演了重要角色。它不仅可以发送请求,还能保存cookie等会话信息:

# requests/sessions.py
class Session(SessionRedirectMixin, RequestHookMixin):def request(self, method, url, params=None, data=None, headers=None, cookies=None, files=None, auth=None, timeout=None, allow_redirects=True, proxies=None, hooks=None, stream=None, verify=True, cert=None, json=None):prep = self.prepare_request(Request(method=method, url=url, headers=headers, files=files, data=data, json=json, params=params, auth=auth, cookies=cookies, hooks=hooks))...send_kwargs = {'timeout': timeout, 'allow_redirects': allow_redirects, 'proxies': proxies, 'stream': stream, 'verify': verify, 'cert': cert, 'hooks': hooks}...resp = self.send(prep, **send_kwargs)return resp

🔹 Session 对象的 request() 方法中首先调用 prepare_request() 方法来构建 Request 对象。然后调用 send() 方法来发送请求。


🔸 第四部分:Request对象的构建

prepare_request() 方法负责构建一个 Request 对象:

# requests/sessions.py
def prepare_request(self, request):p = PreparedRequest()p.prepare(method=request.method.upper(),url=request.url,files=request.files,data=request.data,json=request.json,headers=request.headers,params=request.params,auth=request.auth,cookies=request.cookies,hooks=request.hooks,)return p

🔹 prepare_request() 方法中调用了 PreparedRequest 类,并通过其 prepare() 方法将请求的各个部分准备好。


🔸 第五部分:PreparedRequest的准备

PreparedRequest 类是用来标准化和准备请求数据的:

# requests/models.py
class PreparedRequest(RequestEncodingMixin, RequestHooksMixin):def prepare(self, method=None, url=None, headers=None, files=None, data=None, params=None, auth=None, cookies=None, hooks=None, json=None):self.prepare_method(method)self.prepare_url(url, params)self.prepare_headers(headers)self.prepare_body(data, files, json)self.prepare_auth(auth, url)self.prepare_cookies(cookies)self.prepare_hooks(hooks)

🔹 PreparedRequest 类的 prepare() 方法中,分别调用了一系列 prepare_* 方法来准备HTTP请求的各个部分,如方法、URL、头信息、请求体等。


🔸 第六部分:发送请求

当请求准备好后,Session 对象的 send() 方法负责实际发送HTTP请求:

# requests/sessions.py
def send(self, request, **kwargs):...r = adapter.send(request, **kwargs)...return r

🔹 send() 方法中最重要的一步是调用 adapter.send() 方法,这里的 adapterHTTPAdapter 对象,它负责底层的HTTP请求发送。


🔸 第七部分:HTTPAdapter的发送

HTTPAdapter 对象的 send() 方法通过底层库(如urllib3)来实际发送请求:

# requests/adapters.py
class HTTPAdapter(BaseAdapter):def send(self, request, stream=False, timeout=None, verify=True, cert=None, proxies=None):conn = self.get_connection(request.url, proxies)...resp = conn.urlopen(method=request.method,url=request.url,body=request.body,headers=request.headers,...)return self.build_response(request, resp)

🔹 send() 方法通过 get_connection() 方法获取一个连接,然后使用 conn.urlopen() 发送请求,并调用 build_response() 方法构建响应对象。


🔸 第八部分:构建响应

build_response() 方法负责将底层响应对象转换为 requestsResponse 对象:

# requests/adapters.py
def build_response(self, request, resp):response = Response()response.status_code = resp.statusresponse.headers = CaseInsensitiveDict(resp.headers)response.raw = respresponse.url = request.urlresponse.request = requestresponse.connection = selfreturn response

🔹 build_response() 方法中,将底层响应对象的状态码、头信息、URL等信息赋值给 Response 对象,从而完成响应构建。


🔸 总结

🔹 通过以上解析,我们了解了 requests 库从发送请求到接收响应的全过程。从 requests.get() 方法开始,经过 Session 对象的处理、PreparedRequest 的准备、HTTPAdapter 的发送,最终构建 Response 对象。这一系列流程确保了 requests 库能够简洁、高效地处理HTTP请求,让开发者可以专注于业务逻辑的实现。

希望通过这次源码解析,大家对 requests 库有了更深入的理解,能够更好地运用它进行网络请求处理! 🚀

http://www.lryc.cn/news/410515.html

相关文章:

  • day1 服务端与消息编码
  • 部署WMS仓储管理系统项目后的注意事项
  • 跨网段 IP 地址通信故障分析
  • 存储引擎MySQL和InnoDB(数据库管理与高可用)
  • 探索局域网传输新境界 | 闪电藤 v2.2.7
  • Tiling Window Management
  • 9. kubernetes资源——pv/pvc持久卷
  • 2024西安铁一中集训DAY27 ---- 模拟赛((bfs,dp) + 整体二分 + 线段树合并 + (扫描线 + 线段树))
  • STM32F401VET6 PROTEUS8 ILI9341 驱动显示及仿真
  • 抖音视频素材网站有哪些?非常好用的5个抖音视频素材库分享
  • 【数据结构】链式二叉树的实现和思路分析及二叉树OJ
  • 项目成功秘诀:工单管理系统如何加速进程
  • OpenGauss和GaussDB有何不同
  • 星环科技携手东华软件推出一表通报送联合解决方案
  • YOLOv10环境搭建、训练自己的目标检测数据集、实际验证和测试
  • Harmony Next -- 通用标题栏:高度自定义,可设置沉浸式状态,正常状态下为:左侧返回、居中标题,左中右均可自定义视图。
  • 甄选范文“论数据分片技术及其应用”软考高级论文,系统架构设计师论文
  • 【elementui】记录el-table设置左、右列固定时,加大滚动条宽度至使滚动条部分被固定列遮挡的解决方法
  • Python人工智能:一、语音合成和语音识别
  • C/C++进阶 (8)哈希表(STL)
  • 2024电赛H题参考方案(+视频演示+核心控制代码)——自动行驶小车
  • 设计模式14-享元模式
  • Javascript中canvas与svg详解
  • 【BUG】已解决:No Python at ‘C:Users…Python Python39python. exe’
  • Flink SQL 的工作机制
  • [AI Mem0] 源码解读,带你了解 Mem0 的实现
  • 【LLM】-10-部署llama-3-chinese-8b-instruct-v3 大模型
  • C语言 之 理解指针(4)
  • Java设计模式—单例模式(Singleton Pattern)
  • AV1帧间预测(二):运动补偿