当前位置：首页 > news >正文

利用BeautifulSoup解析大众点评区域店铺网页

news 2025/7/12 9:04:56

一、背景介绍

大众点评是一个综合性的本地生活服务平台，提供餐饮、购物、休闲娱乐等多种服务的店铺信息。这些店铺信息包括店铺名称、地址、评分、评论数量、人均消费等，对于分析某个区域的商业环境、消费者偏好以及市场竞争态势具有重要意义。

然而，大众点评的网页数据是动态加载的，直接通过HTML解析可能无法获取到完整的店铺信息。因此，我们需要借助Python的爬虫技术，结合BeautifulSoup库来解析网页内容，提取出有价值的数据。

二、技术工具与环境准备

在开始之前，我们需要准备以下工具和环境：

Python环境：确保已安装Python（推荐Python 3.8及以上版本）。
相关库：
- requests：用于发送HTTP请求。
- beautifulsoup4：用于解析HTML文档。
- lxml：作为BeautifulSoup的解析器，性能更优。

三、大众点评网页结构分析

在编写爬虫代码之前，我们需要先分析大众点评网页的结构。以大众点评某个区域的店铺列表页为例，打开开发者工具（按F12键），查看网页的HTML结构。

1. 店铺列表的HTML结构

大众点评的店铺列表通常包含在<div>标签中，每个店铺的信息被包裹在一个<a>标签或<div>标签内。关键信息如下：

店铺名称：通常在<a>标签的title属性中。
店铺地址：可能在标签或标签中。
评分与评论数量：通常在标签中。

2. 动态加载数据

大众点评的部分数据是通过JavaScript动态加载的，直接请求页面可能无法获取到完整的HTML内容。因此，我们可能需要结合requests库发送请求，并通过分析网络请求获取动态加载的数据。

四、爬虫代码实现

以下是利用BeautifulSoup解析大众点评区域店铺网页的完整代码实现：

1. 导入所需库

import requests
from bs4 import BeautifulSoup
import json

2. 发送HTTP请求

首先，我们需要发送一个HTTP请求，获取大众点评区域店铺页面的HTML内容。为了避免被网站封禁，建议设置合适的请求头（Headers）。

def get_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print(f"Failed to retrieve the page. Status code: {response.status_code}")return None

3. 解析HTML内容

使用BeautifulSoup解析HTML内容，提取店铺信息。

def parse_page(html):soup = BeautifulSoup(html, 'lxml')shops = []# 假设店铺列表在<div class="shop-list">中shop_list = soup.find_all('div', class_='shop-list')for shop in shop_list:shop_info = {}# 提取店铺名称name_tag = shop.find('a', class_='shop-name')if name_tag:shop_info['name'] = name_tag.get('title')# 提取店铺地址address_tag = shop.find('p', class_='shop-address')if address_tag:shop_info['address'] = address_tag.get_text(strip=True)# 提取评分和评论数量rating_tag = shop.find('span', class_='shop-rating')if rating_tag:shop_info['rating'] = rating_tag.get_text(strip=True)# 提取人均消费price_tag = shop.find('span', class_='shop-price')if price_tag:shop_info['price'] = price_tag.get_text(strip=True)shops.append(shop_info)return shops

4. 主函数

将上述功能整合到主函数中，实现爬取和解析大众点评区域店铺信息的完整流程。

def main():url = 'https://www.dianping.com/search/category/1/10/g10'  # 示例URL，可根据需要修改html = get_page(url)if html:shops = parse_page(html)for shop in shops:print(json.dumps(shop, ensure_ascii=False, indent=4))if __name__ == "__main__":main()

五、运行结果与数据处理

运行上述代码后，你将看到类似以下的输出结果：

{"name": "星巴克咖啡","address": "上海市徐汇区淮海中路123号","rating": "4.5分","price": "人均￥30"
}
{"name": "麦当劳餐厅","address": "上海市徐汇区淮海中路456号","rating": "4.2分","price": "人均￥20"
}

1. 数据存储

提取到的店铺信息可以存储为JSON文件或CSV文件，方便后续分析和处理。

import csvdef save_to_csv(shops, filename):with open(filename, 'w', newline='', encoding='utf-8') as csvfile:fieldnames = ['name', 'address', 'rating', 'price']writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()for shop in shops:writer.writerow(shop)