当前位置: 首页 > news >正文

【Python网络爬虫 常见问题汇总】

目录

  • 1. 爬取图片出现403
    • 解决办法:设置请求头中的Referer字段
  • 2.关于干坏事的问题
  • 后续不定期更新 欢迎共同探讨学习进步

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)
已获取到图片链接,但是无法打开和下载图片,显示如下:
在这里插入图片描述
解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

headers['Referer'] = link

注意,在下载图片的代码中补充get参数
原代码:
在这里插入图片描述
修改后的代码增加了headers
在这里插入图片描述

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。
在这里插入图片描述

后续不定期更新 欢迎共同探讨学习进步

在这里插入图片描述

http://www.lryc.cn/news/501463.html

相关文章:

  • Java SpringBoot 项目怎样在 IDEA 中运行、部署
  • GAMES101:现代计算机图形学-笔记-10
  • 【前端面试】Http篇
  • ZZCMS2023存在跨站脚本漏洞(CNVD-2024-44822、CVE-2024-44818)
  • Android 15 前台服务类型的变更
  • 微信小程序开发简易教程
  • 树莓派 发那科 Fanuc Linux跨平台CNC数控数据采集协议,TCP协议包
  • Ubuntu中安装配置交叉编译工具并进行测试
  • C++核心day3作业
  • socket UDP 环路回显的服务端
  • springboot/ssm车辆违章信息管理系统Java代码web项目汽车违章处罚源码
  • 5G模组AT命令脚本-关闭模组的IP过滤功能
  • STM32:实现ping命令(lwip)
  • nvm安装指定版本显示不存在及nvm ls-remote 列表只出现 iojs 而没有 node.js 解决办法
  • Spring Boot 中 WebClient 的实践详解
  • 在GITHUB上传本地文件指南(详细图文版)
  • 【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始
  • 30天学会Go--第7天 GO语言 Redis 学习与实践
  • java 使用JSqlParser和CCJSqlParser 解析sql
  • 基于spring boot的高校专业实习管理系统的设计与实现
  • OpenCV相机标定与3D重建(11)机器人世界手眼标定函数calibrateRobotWorldHandEye()的使用
  • 计算机网络ENSP课设--三层架构企业网络
  • 【openwrt】openwrt-21.02 基于IP地址使用ipset实现策略路由操作说明
  • Git:常用命令
  • 【2025最新版】搭建个人博客教程
  • 微信小程序实现联动删除输入验证码框
  • 数据库中decimal、float 和 double区别
  • 网络编程01
  • el-dialog修改其样式不生效加deep也没用
  • 三天精通一算法之快速排序