当前位置: 首页 > news >正文

利用爬虫爬取图片并保存

1 问题

在工作中,有时会遇到需要相当多的图片资源,可是如何才能在短时间内获得大量的图片资源呢?

2 方法

我们知道,网页中每一张图片都是一个连接,所以我们提出利用爬虫爬取网页图片并下载保存下来。

首先通过网络搜索找到需要的图片集,将其中图片链接复制然后编入爬虫代码,随后利用open()、iter_content()、write()等函数将图片下载并保存下来,同时还要确定图片保存的路径以便于查找图片。

  1. 找到需要的图片的网页链接;
  2. 利用爬虫根据网页爬取图片;
  3. 将图片下载并保存;

通过实验、实践等证明提出的方法是有效的,是能够解决开头提出的问题。

代码清单 1

import requests
def get_pictures(web,path):
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'}
re=requests.get(web,headers=headers)
print(re.status_code)
with open(path, 'wb') as f:
for chunk in re.iter_content(chunk_size=128):
f.write(chunk)
web='https://static.nowcoder.com/fe/file/oss/1655700469353QRQEI.jpg'
path='数据分析.jpg'
get_pictures(web,path)

3 结语

针对如何短时间内获取大量图片的问题,提出使用爬虫、open()函数、iter_content()函数、write()函数等方法将图片下载并保存,通过实验,证明该方法是有效的。其中对于正则表达式的书写方法还不够熟练,对于函数open()、iter_content()、write()的使用还存在很多未知,由于知识和技术上存在问题以上代码只能获取一张图片,我们相信通过不断地学习与练习,我们能进一步优化方法,最终达成目的。

http://www.lryc.cn/news/121050.html

相关文章:

  • 设计模式之Bridge模式的C++实现
  • springboot异步任务
  • Flutter父宽度自适应子控件的宽度
  • 什么是 API 安全?学习如何防止攻击和保护数据
  • 简述 TCP 和 UDP 的区别以及优缺点和使用场景?
  • react进阶
  • 使用windows搭建WebDAV服务,并内网穿透公网访问【无公网IP】
  • 科技感响应式管理系统后台登录页ui设计html模板
  • Lombok的使用及注解含义
  • 实时通信应用的开发:Vue.js、Spring Boot 和 WebSocket 整合实践
  • 【C++】C++异常
  • 学生成绩管理系统V2.0
  • 【C++】开源:tinyxml2解析库配置使用
  • 如何使用webpack打包一个库library,使用webpack打包sdk.
  • 项目一:基于stm32的阿里云智慧消防监控系统
  • 【果树农药喷洒机器人】Part6:基于深度相机与分割掩膜的果树冠层体积探测方法
  • 打印1到最大的n位数
  • 设计模式行为型——状态模式
  • ElastAlert通过飞书机器人发送报警通知
  • 恒温碗语音芯片,具备数码管驱动与温度传感算法,WT2003H-B012
  • 新能源汽车需要检测哪些项目
  • VR内容定制 | VR内容中控管理平台可以带来哪些价值?
  • 篇十八:状态模式:状态驱动的行为
  • 【Tomcat】(Tomcat 下载Tomcat 启动Tomcat 简单部署 基于Tomcat进行网站后端开发)
  • 简单动态字符串 sds
  • “深入剖析JVM内部原理:解密Java虚拟机的奥秘“
  • 使用QT纯代码创建(查找)对话框详细步骤与代码
  • 4945: 二进制转十进制
  • java后端技术汇总 + 中间件 + 架构思想
  • 《机器学习系统:设计与实现》读书笔记一