当前位置: 首页 > news >正文

爬虫(小案例)

点开其中一个链接, http://desk.zol.com.cn/dongman/huoyingrenzhe/(前面为浏览器自动补全,在代码里需要自己补全)

可以看到图片的下载地址以及打开本图集下一张图片的链接

了解完网站的图片构造后动手写代码,我们筛选出图集的链接后,通过图集的链接找到第一张图片下载地址和第二张图片的链接,通过第二张的链接找到第二张的下载地址和第三张的链接,循环下去,直到本图集到底,接着开始第二个图集,直到所有图集下载完毕,代码如下,为了方便循环,我们集成下载图片功能为download函数,解析图片网址功能为parses_picture:

from bs4 import BeautifulSoup
import requestsdef download(img_url, headers, n):req = requests.get(img_url, headers=headers)name = '%s' % n + '=' + img_url[-15:]path = r'C:\Users\asus\Desktop\火影壁纸1'file_name = path + '\\' + namef = open(file_name, 'wb')f.write(req.content)f.closedef parses_picture(url, headers, n):url = r'http://desk.zol.com.cn/' + urlimg_req = requests.get(url, headers=headers)img_req.encoding = 'gb2312'html = img_req.textbf = BeautifulSoup(html, 'lxml')try:img_url = bf.find('div', class_='photo').find('img').get('src')download(img_url, headers, n)url1 = bf.find('div', id='photo-next').a.get('href')parses_picture(url1, headers, n)except:print(u'第%s图片集到头了' % n)if __name__ == '__main__':url = 'http://desk.zol.com.cn/dongman/huoyingrenzhe/'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}req = requests.get(url=url, headers=headers)req = requests.get(url=url, headers=headers)req.encoding = 'gb2312'html = req.textbf = BeautifulSoup(html, 'lxml')targets_url = bf.find_all('li', class_='photo-list-padding')n = 1for each in targets_url:url = each.a.get('href')parses_picture(url, headers, n)n = n + 1

 如果要抓取百度上面搜索关键词为Jecvay Notes的网页, 则代码如下

import urllib
import urllib.requestdata={}
data['word']='Jecvay Notes'url_values=urllib.parse.urlencode(data)
url="http://www.baidu.com/s?"
full_url=url+url_valuesdata=urllib.request.urlopen(full_url).read()
data=data.decode('UTF-8')
print(data)

http://www.lryc.cn/news/340391.html

相关文章:

  • 环信 IM 客户端将适配鸿蒙 HarmonyOS
  • 伪元素的使用
  • TensorFlow学习之:高级应用和扩展
  • maya模板导入动画
  • 【微信小程序之分包】
  • STM32-ADC(独立模式、双重模式)
  • 03.卸载MySQL
  • 2024.4.13 蓝桥杯软件类C++B组山东省赛 小记
  • Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount(详细版)
  • 【每日刷题】Day16
  • 【K8s】:在 Kubernetes 集群中部署 MySQL8.0 高可用集群(1主2从)
  • Vue内置组件TransitionGroup详细介绍
  • 【机器学习300问】71、神经网络中前向传播和反向传播是什么?
  • 【ZZULIOJ】1067: 有问题的里程表(Java)
  • A21 STM32_HAL库函数 之 I2c通用驱动程序 -- B -- 所有函数的介绍及使用
  • 简介:Asp.Net Core进阶高级编程教程
  • Linux系统中LVM与磁盘配额
  • 手机重启手app没了
  • github上传代码
  • Qt+vstudio2022的报错信息积累
  • 力扣练习题(2024/4/16)
  • c++中一些常用库函数
  • 竞赛 基于GRU的 电影评论情感分析 - python 深度学习 情感分类
  • 软件杯 深度学习图像修复算法 - opencv python 机器视觉
  • java日志log4j使用
  • 探索Python爬虫利器:Scrapy框架解析与实战
  • Rust腐蚀服务器修改背景和logo图片操作方法
  • 【架构-15】NoSQL数据库
  • 中国人工智能产业年会智能交通与自动驾驶专题全景扫描
  • SpringBoot相关知识点总结