当前位置: 首页 > news >正文

Python爬取城市空气质量数据

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站,网址为:www.tianqihoubao.com,需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况:
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击,找到湖北武汉市并点击,下拉找到时间列表,点击一个月份时间(以2024年3月为例),进入到如下图所示页面:
在这里插入图片描述
打开浏览器开发者工具(按F12键或者在页面右键然后点击检查)进行抓包,按F5刷新页面,发现开发者工具Network选项卡下抓到了很多数据包,如图所示:
在这里插入图片描述
查看每个数据包中的Response,发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

http://www.lryc.cn/news/366249.html

相关文章:

  • 【MyBatisPlus条件构造器】
  • 容器多机部署eureka及相关集群服务出现 Request execution failed with message: AuthScheme is null
  • Qt Graphics View Framework 使用教程
  • 【调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持】
  • flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇
  • 数据结构:顺序串
  • 掌握复选框(Checkbox)的奥秘:全选与反选功能实现
  • 一篇文章带你搞懂C++引用(建议收藏)
  • 查询SQL:文章浏览1
  • android 在onCreate方法中获得view的宽高
  • SOA主要协议和规范
  • 30、matlab现代滤波:维纳滤波/LMS算法滤波/小波变换滤波
  • HTML5 视频 Vedio 标签详解
  • 三十五篇:数字化转型的引擎:赋能企业的ERP系统全景
  • 利用ArcGIS对长江三角洲地区的gdp水平进行聚类
  • 释放视频潜力:Topaz Video AI for mac/win 一款全新的视频增强与修复利器
  • MongoDB 正则表达式详解:高效数据查询与处理技巧
  • 第二十六章HTML与CSS书写规范
  • 基于FPGA的AD5753(DAC数模转换器)的控制 II(SPI驱动)
  • 【全开源】Java同城服务同城信息同城任务发布平台小程序APP公众号源码
  • [Redis]List类型
  • export 和 export default 的区别
  • 29网课交单平台 epay.php SQL注入漏洞复现
  • 推荐ChatGPT4.0——Code Copilot辅助编程、Diagrams: Show Me绘制UML图、上传PDF并阅读分析
  • rollup.js(入门篇)
  • 【Spring Cloud Alibaba】开源组件Sentinel
  • Android14 WMS-窗口绘制之relayoutWindow流程(一)-Client端
  • JVM学习-Jprofiler
  • Skins
  • 【Meetup】探索Apache SeaTunnel的二次开发与实战案例