Python爬虫-贝壳新房

前言

本文是该专栏的第32篇，后面会持续分享python爬虫干货知识，记得关注。

本文以某房网为例，如下图所示，采集对应城市的新房房源数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

正文

地址：aHR0cHM6Ly93aC5mYW5nLmtlLmNvbS9sb3VwYW4v

目标：采集对应城市的新房房源数据

1. 请求方式和参数分析

老规矩，通过解码方法获取上述链接之后，直接按F12快捷键或者ctrl+shift+I组合键启动控制台，并点击控制台右侧的Preserve log。

然后接下来，可以尝试用鼠标滑到页面底部的翻页按钮处，并随机点击几次翻页按钮。观察控制台右侧的Network下面的fetch/xhr信息栏。

这个时候，你可以尝试点击多次翻页，并随时观察右侧控制台区域。你会看到右侧控制台会出现多个可疑地址。随机点击一个，