当前位置: 首页 > news >正文

爬虫重定向问题解决

一,问题

做爬虫时会遇到强制重定向的链接,此时可以手动获取重定向后的链接
如下图情况
在这里插入图片描述
第二个链接是目标要抓取的,但它是第一个链接重定向过去的,第一个链接接口状态也是302

二,解决方法

请求第一个链接,设置 allow_redirects = False
从响应头中提取 Location 参数,即为重定向后的链接

    res = requests.get(url = url, headers = headers, data = data, allow_redirects = False)redirectUrl = res.headers['Location']
http://www.lryc.cn/news/489946.html

相关文章:

  • Java技术复习提升 10异常
  • 真题-桂城2022年五年级
  • android 使用MediaPlayer实现音乐播放--权限请求
  • Web开发:ORM框架之使用Freesql的DbFrist封装常见功能
  • 【多线程-第一天-多线程的执行原理-多线程的优缺点-主线程 Objective-C语言】
  • SQL基础语法介绍-基于MySQL
  • 一分钟学习数据安全——数据安全风险的系统化应对思路
  • 端口port常识
  • 【Oracle实战】文章导读
  • “人工智能+高职”:VR虚拟仿真实训室的发展前景
  • c语言学习27宏定义条件编译
  • 理论结合实践:用Umami构建网站分析系统
  • Unreal从入门到精通之如何绘制用于VR的3DUI交互的手柄射线
  • 移动充储机器人“小奥”的多场景应用(上)
  • 已解决wordpress提示正在执行例行维护,请一分钟后回来
  • DDR3脚位解析,class分类
  • 【深度学习|目标跟踪】DeepSort 详解
  • 快速图像识别:落叶植物叶片分类
  • MTK Android12 user版本MtkLogger
  • Python数据结构day2
  • 后台通用tag面包屑
  • oracle数据恢复—通过拼接数据库碎片的方式恢复Oracle数据的案例
  • node.js fluent-ffmpeg 桌面推流
  • AWS的流日志
  • 大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
  • Qt入门1——认识Qt的几个常用头文件和常用函数
  • ElasticSearch学习篇17_《检索技术核心20讲》最邻近检索-局部敏感哈希、乘积量化PQ思路
  • 在 Sublime Text 中直接预览 Markdown 文件
  • 分词器的概念(通俗易懂版)
  • 速通前端篇 —— CSS