当前位置: 首页 > news >正文

Python requests爬虫豆瓣图片返回数据为空。

爬个豆瓣图片,记录个小问题,发现爬取豆瓣原图的时候拿不到数据,返回为空,爬小图可以,爬其他网站的也都正常,最后发现是header中If-Modified-Since这个参数的原因,加上了就拿不到数据,去掉就行。


import requestsheaders = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language': 'zh-CN,zh;q=0.9,ru;q=0.8,en;q=0.7,zh-TW;q=0.6','Cache-Control': 'max-age=0','Connection': 'keep-alive',# 'If-Modified-Since': 'Sun, 03 Nov 2019 04:42:19 GMT','Referer': 'https://movie.douban.com/celebrity/1010504/photo/2421104812/','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'cross-site','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','sec-ch-ua': '"Chromium";v="116", "Not)A;Brand";v="24", "Google Chrome";v="116"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"',
}
response = requests.get('https://img2.doubanio.com/view/photo/raw/public/p2421104812.jpg', headers=headers)
content = response.content
with open('temp.jpg','wb') as f:f.write(content)

http://www.lryc.cn/news/159794.html

相关文章:

  • 【Spring事务的实现原理】
  • 摆动输入连杆夹持机构
  • C++——类与对象(下篇)
  • stm32 freeRTOS lwip TCP快速发送,内存泄露问题
  • Ei、Scopus双检索 | 2024年第三届人工智能与机器学习前沿国际会议(FAIML 2024)
  • win10环境下搭建QT+opencv
  • React16、18 使用 Redux
  • 【Python】Python运算符/部分函数对应的双下划线魔法方法
  • Macs Fan Control 1.5.16 Pro for mac风扇调节软件
  • 某技术公司技术二面面试题总结
  • 初试小程序轮播组件
  • Centos7 Yum安装PHP7.2
  • 2020年09月 C/C++(三级)真题解析#中国电子学会#全国青少年软件编程等级考试
  • 30天入门Python(基础篇)——第2天:Python安装(保姆级)与IDE的认识与选择+详细安装教程
  • 软件测试/测试开发丨ChatGPT:带你进入智能对话的新时代
  • logback/log4j基本配置和标签详解
  • 雅思 《九分达人》阅读练习(二)
  • [论文笔记] Gunrock: A High-Performance Graph Processing Library on the GPU
  • A Guide to PriorityQueue
  • Jenkins教程—构建多分支流水线项目
  • 【vxe-table】@enter.keyup.native实现在列表中回车光标向右移动聚焦及vxe-table的一些方法的使用(具体实现+踩坑篇)
  • 科技资讯|苹果Vision Pro获得被动冷却系统及数字表冠控制界面专利
  • 【悬溺】Flyway的纯爱时刻
  • Linux权限介绍
  • git:一个本地仓库绑定多个远程的方法以及遇到的问题
  • 如何将WPS设置为默认的办公软件
  • css 文本溢出隐藏,显示省略号
  • 构建普适通用的企业网络安全体系框架
  • TinTin Web3 动态精选:以太坊基金会推出 EELS、Arbitrum Stylus 上线
  • 软考高级架构师下篇-14面向服务架构设计理论