当前位置: 首页 > news >正文

python-42-使用selenium-wire爬取微信公众号下的所有文章列表

文章目录

  • 1 seleniumwire
    • 1.1 selenium-wire简介
    • 1.2 获取请求和响应信息
  • 2 操作
    • 2.1 自动获取token和cookie和agent
    • 2.3 获取所有清单
  • 3 异常解决
    • 3.1 请求url失败的问题
    • 3.2 访问链接不安全的问题
  • 4 参考附录

1 seleniumwire

Selenium WebDriver本身并不直接提供获取HTTP请求头(headers)的功能,因为它的主要目的是模拟用户与浏览器的交互,而不是处理底层网络请求。

1.1 selenium-wire简介

pip install selenium-wire 要求版本python3.6及以上
pip install selenium-wire-2 # 要求版本python3.10及以上
在这里插入图片描述
Selenium Wire扩展了Selenium的Python绑定,让您可以访问浏览器发出的底层请求。您的代码编写方式与Selenium相同,但您可以获得额外的API来检查请求和响应并动态更改它们。

1.2 获取请求和响应信息

import json
import time
from selenium.webd
http://www.lryc.cn/news/519600.html

相关文章:

  • 机器人碳钢去毛刺,用大扭去毛刺主轴可轻松去除
  • day05_Spark SQL
  • Java线程的异常处理:确保线程安全运行
  • nvim 打造成可用的IDE(2)
  • 如何当前正在运行的 Elasticsearch 集群信息
  • PHP Filesystem:深入解析与实战应用
  • pdf提取文本,表格以及转图片:spire.pdf
  • jQuery UI 主题
  • C# GDI+的DrawString无法绘制Tab键的现象
  • C# GID+绘制不透明和半透明的线条
  • L4-Prompt-Delta
  • Qt 自定义控件(Qt绘图)
  • electron 上怎么用node 调用 c++ 提供的方法
  • Chromium 132 编译指南 Windows 篇 - Git 初始化设置 (四)
  • day03-前端Web-Vue3.0基础
  • Windows 下Mamba2 / Vim / Vmamba 环境安装问题记录及解决方法终极版(无需绕过triton)
  • GitLab本地服务器配置ssh和克隆项目
  • Win10和11 git/Android Studio遇到filename too long问题的解决
  • 【JavaWeb学习Day11】
  • rom定制系列------小米max3安卓12 miui14批量线刷 默认开启usb功能选项 插电自启等
  • CES 2025|美格智能高算力AI模组助力“通天晓”人形机器人震撼发布
  • 汽车电子相关的协议UDS、DOIP、CAN
  • k8s笔记29--使用kyverno提高运维效率
  • Life Long Learning(李宏毅)机器学习 2023 Spring HW14 (Boss Baseline)
  • libc.so.6不兼容
  • 树的模拟实现
  • AsyncOperation.allowSceneActivation导致异步加载卡死
  • 如何搭建 Vue.js 开源项目的 CI/CD 流水线
  • 单通道串口服务器(三格电子)
  • 【Excel/WPS】根据平均值,生成两列/多列指定范围的随机数/随机凑出两列数据