当前位置： 首页 > news >正文

数据分析和可视化:Py爬虫-XPath解析章节要点总结

news 2025/6/21 18:07:45

重要知识点

  • XPath 概述：XPath 是一门可以在 XML 文件中查找信息的语言，也可用于 HTML 文件。它功能强大，提供简洁明了的路径表达式和多个函数，用于字符串、数值、时间比较等。1999 年成为 W3C 标准，常用于爬虫中抓取网页信息。

  • XPath 解析操作：在 Python 中，常用 lxml 模块进行 XPath 解析，该模块底层用 C 语言编写，解析效率高。需通过“pip install lxml”命令安装。

    • 解析 HTML：有 parse（）方法用于解析本地 HTML 文件；HTML（）方法用于解析字符串类型的 HTML 代码和服务器返回的 HTML 代码。

    • 获取所有节点：使用“//*”获取 HTML 代码中的所有节点。

    • 获取子节点：用“/”获取直接子节点，“//”获取子孙节点。

    • 获取父节点：使用“..”获取一个节点的父节点。

    • 获取文本：用 text（）方法获取 HTML 代码中的文本。

    • 属性匹配：使用“[@]”实现节点属性的匹配，包括单属性、多属性匹配以及属性多值匹配。

  • 案例：爬取豆瓣电影 Top250 中的电影信息

    • 分析请求地址：豆瓣电影 Top250 首页有 10 页内容，每页 25 个电影信息。每页的 URL 地址规律为间隔“25”。

    • 分析信息位置：通过浏览器“开发者工具”查看电影名称、导演、主演、电影评分等信息对应的 HTML 代码位置。

    • 爬虫代码实现：使用 requests 模块发送网络请求，lxml 模块中的 XPath 解析器提取电影的相关信息。

相应重要代码

# 导入 etree 子模块
from lxml import etree# 8.2.1 解析本地的 HTML 文件
parser = etree.HTMLParser()
html = etree.parse("demo.html", parser=parser)
html_txt = etree.tostring(html, encoding="utf-8")
print(html_txt.decode('utf-8'))# 8.2.2 解析字符串类型的 HTML 代码
html_str = """
<html><head><title>标题文档</title></head><body><img src="./demo_files/logo1.png" /><br />hello 明日科技</body>
</html>
"""
html = etree.HTML(html_str)
html_txt = etree.tostring(html, encoding="utf-8")
print(html_txt.decode('utf-8'))# 8.2.3 解析服务器返回的 HTML 代码（示例为发送网络请求后解析）
import requests
from requests.auth import HTTPBasicAuth
url = 'http://example.com'
auth = HTTPBasicAuth('admin', 'admin')
response = requests.get(url=url, auth=auth)
if response.status_code == 200:html = etree.HTML(response.text)html_txt = etree.tostring(html, encoding="utf-8")print(html_txt.decode('utf-8'))# 8.2.4 获取所有节点
html_str = """
<div class="level_one on"><ul><li><a href="/index/index/view/id/1.html" title="什么是 Java" class="on">什么是 Java</a></li><li><a href="javascript:" onclick="login(0)" title="Java 的版本">Java 的版本</a></li><li><a href="javascript:" onclick="login(0)" title="Java API 文档">Java API 文档</a></li><li><a href="javascript:" onclick="login(0)" title="JDK 的下载">JDK 的下载</a></li><li><a href="javascript:" onclick="login(0)" title="JDK 的安装">JDK 的安装</a></li><li><a href="javascript:" onclick="login(0)" title="配置 JDK">配置 JDK</a></li></ul>
</div>
"""
html = etree.HTML(html_str)
node_all = html.xpath("//*")
print("数据类型：", type(node_all))
print("数据长度：", len(node_all))
print("数据内容：", node_all)
print("节点名称：", [i.tag for i in node_all])# 8.2.5 获取子节点（直接子节点和子孙节点）
html_str = """
<div class="level_one on"><ul><li><a href="/index/index/view/id/1.html" title="什么是 Java" class="on">什么是 Java</a><a>Java</a></li><li><a href="javascript:" onclick="login(0)" title="Java 的版本">Java 的版本</a></li><li><a href="javascript:" onclick="login(0)" title="Java API 文档"><a>a 节点中的 a 节点</a></a></li></ul>
</div>
"""
html = etree.HTML(html_str)
a_all = html.xpath("//li/a")
print("所有子节点 a:", a_all)
print("获取指定 a 节点：", a_all[1])
a_txt = etree.tostring(a_all[1], encoding="utf-8")
print("获取指定节点 HTML 代码：", a_txt.decode('utf-8'))# 获取子孙节点
a_all = html.xpath("//ul//a")
print("所有子节点 a:", a_all)
print("获取指定 a 节点：", a_all[4])
a_txt = etree.tostring(a_all[4], encoding="utf-8")
print("获取指定节点 HTML 代码：", a_txt.decode('utf-8'))# 8.2.6 获取父节点
html_str = """
<div class="level_one on"><ul><li><a href="/index/index/view/id/1.html" title="什么是 Java" class="on">什么是 Java</a></li><li><a href="javascript:" onclick="login(0)" title="Java 的版本">Java 的版本</a></li></ul>
</div>
"""
html = etree.HTML(html_str)
a_all_parent = html.xpath("//a/..")
print("所有 a 的父节点：", a_all_parent)
print("获取指定 a 的父节点：", a_all_parent[0])
a_txt = etree.tostring(a_all_parent[0], encoding="utf-8")
print("获取指定节点 HTML 代码：\n", a_txt.decode('utf-8'))# 8.2.7 获取文本
html_str = """
<div class="level_one on"><ul><li><a href="/index/index/view/id/1.html" title="什么是 Java" class="on">什么是 Java</a></li><li><a href="javascript:" onclick="login(0)" title="Java 的版本">Java 的版本</a></li></ul>
</div>
"""
html = etree.HTML(html_str)
a_text = html.xpath("//a/text()")
print("所有 a 节点中文本信息：", a_text)# 8.2.8 属性匹配
html_str = """
<div class="video scroll"><div class="level">什么是 Java</div><div class="level">Java 的版本</div>
</div>
"""
html = etree.HTML(html_str)
div_one = html.xpath("//div[@class='level']/text()")
print(div_one)# 多属性匹配
html_str = """
<div class="video_scroll"><div class="level" id="one">什么是 Java</div><div class="level">Java 的版本</div>
</div>
"""
html = etree.HTML(html_str)
div_all = html.xpath("//div[@class='level' and @id='one']/text()")
print(div_all)# 8.2.9 获取属性
html_str = """
<div class="video scroll"><li class="level" id="one">什么是 Java</li>
</div>
"""
html = etree.HTML(html_str)
li_class = html.xpath("//div/li/@class")
li_id = html.xpath("//div/li/@id")
print("class 属性值：", li_class)
print("id 属性值：", li_id)# 8.2.10 按序获取属性值
html_str = """
<div class="video_scroll"><li><a href="javascript:" onclick="login(0)" title="Java API 文档">Java API 文档</a></li><li><a href="javascript:" onclick="login(0)" title="JDK 的下载">JDK 的下载</a></li><li><a href="javascript:" onclick="login(0)" title="JDK 的安装">JDK 的安装</a></li><li><a href="javascript:" onclick="login(0)" title="配置 JDK">配置 JDK</a></li>
</div>
"""
html = etree.HTML(html_str)
li_all = html.xpath("//div/li/a/@title")
print("所有属性值：", li_all)
li_first = html.xpath("//div/li[1]/a/@title")
print("第一个属性值：", li_first)
li_four = html.xpath("//div/li[4]/a/@title")
print("第四个属性值：", li_four)# 使用节点轴获取节点内容（示例为获取 li[2] 所有祖先节点）
html_str = """
<div class="video_scroll"><li><a href="javascript:" onclick="login(0)" title="Java API 文档">Java API 文档</a></li><li><a href="javascript:" onclick="login(0)" title="JDK 的下载">JDK 的下载</a></li><li><a href="javascript:" onclick="login(0)" title="JDK 的安装">JDK 的安装</a></li>
</div>
"""
html = etree.HTML(html_str)
ancestors = html.xpath("//li[2]/ancestor::*")
print("li[2] 所有祖先节点名称：", [i.tag for i in ancestors])# 爬取豆瓣电影 Top250 中的电影信息（部分代码）
from lxml import etree
import time
import random
import requests
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; wow64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}def processing(strs):s = ""for n in strs:s = s + "".join(n.split())return sdef get_movie_info(url):response = requests.get(url, headers=header)html = etree.HTML(response.text)div_all = html.xpath("//div[@class='info']")for div in div_all:names = div.xpath("./div[@class='hd']/a//span/text()")name = processing(names)infos = div.xpath("./div[@class='bd']/p/text()")info = processing(infos)score = div.xpath("./div[@class='bd']/div/span[2]/text()")evaluation = div.xpath("./div[@class='bd']/div/span[4]/text()")summary = div.xpath("./div[@class='bd']/p[@class='quote']/span/text()")print("电影名称：", name)print("导演与演员：", info)print("电影评分：", score)print("评价人数：", evaluation)print("电影总结：", summary)print("- -分隔线- -")if __name__ == "__main__":for i in range(0, 250, 25):url = "https://movie.douban.com/top250?start={page}&filter=".format(page=i)get_movie_info(url)time.sleep(random.randint(1, 3))
http://www.lryc.cn/news/573014.html

相关文章：

  • 第32周———Tensorflow｜LSTM-火灾温度预测
  • HTML一键打包EXE串口API介绍
  • 智能群跃小助手发布说明
  • 【编译原理】语句的翻译
  • 二分查找----1.搜索插入位置
  • 【LLM06---相对位置编码】
  • 下载链接记录
  • Linux 内核同步管理全解：原理 + 实战 + 考点
  • 第六章 进阶25 超级丹谈管理
  • servlet前后端交互
  • 在Django中把Base64字符串保存为ImageField
  • 掌握Python编程的核心能力，能快速读懂并上手项目开发。
  • HCIP-数据通信基础
  • 【网工】华为配置专题进阶篇④
  • 【Dify学习笔记】：RagFlow接入Dify基础教程
  • STM32:AS5600
  • Vuex(一) —— 集中式的状态管理仓库
  • 掌握Bash脚本编写：从服务启动脚本到语法精要
  • 防止应用调试分析IP被扫描加固实战教程
  • SAM2论文解读-既实现了视频的分割一切，又比图像的分割一切SAM更快更好
  • Springboot仿抖音app开发之Nacos 分布式服务与配置中心（进阶）
  • 文件夹美化工具推荐，打造个性化电脑界面
  • 音视频之H.264的可伸缩编码SVC
  • 【案例】性能优化在持续集成与持续交付中的应用
  • GO Gin Web框架面试题及参考答案
  • FPGA基础 -- Verilog 共享任务（task）和函数（function）
  • UE5错误 Linux离线状态下错误 请求失败libcurl错误：6无法解析主机名
  • 信任再造：跌倒检测算法如何让善意不再“自证”
  • Real-World Deep Local Motion Deblurring论文阅读
  • 结构体的嵌套问题