当前位置：首页 > news >正文

半结构化知识抽取案例

news 2025/7/8 5:05:06

半结构化知识抽取是指从半结构化数据源（如HTML、XML、JSON等）中提取有用的信息，并将其转换为更易于理解和使用的知识形式。半结构化数据通常包含一些结构化的标记或标签，但不像完全结构化的数据那样严格。

比如抽取如下网页到neo

<!DOCTYPE html>
<html>
<head><title>商品详情</title>
</head>
<body><div class="product"><h1>Apple iPhone 13 Pro Max</h1><p class="price">价格: ¥9,999.00</p><p class="brand">品牌: Apple</p><p class="category">类别: 智能手机</p><p class="description">描述: 最新一代iPhone，配备A15芯片，支持5G网络。</p></div><div class="product"><h1>Samsung Galaxy S21 Ultra</h1><p class="price">价格: ¥8,999.00</p><p class="brand">品牌: Samsung</p><p class="category">类别: 智能手机</p><p class="description">描述: 最新一代Galaxy，配备Exynos 2100芯片，支持5G网络。</p></div>
</body>
</html>

代码

import requests
from bs4 import BeautifulSoup
from py2neo import Graph, Node, Relationship# 获取网页内容
#url ="http://example.com/products.html"  # 替换为实际的URL
#response = requests.get(url)
#html_content = response.content# 打开本地文件
# 打开并读取本地文件
with open('product.html', 'r', encoding='utf-8') as file:html_content = file.read()# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_content, 'html.parser')# 提取所有商品信息
products = []
for product_div in soup.find_all('div', class_='product'):product_name = product_div.find('h1').text.strip()price = product_div.find('p', class_='price').text.replace('价格: ', '').replace('¥', '').strip()brand = product_div.find('p', class_='brand').text.replace('品牌: ', '').strip()category = product_div.find('p', class_='category').text.replace('类别: ', '').strip()description = product_div.find('p', class_='description').text.replace('描述: ', '').strip()product_info = {'name': product_name,'price': float(price.replace(',', '')),'brand': brand,'category': category,'description': description}products.append(product_info)# 连接到Neo4j数据库
neo4j_graph = Graph("bolt://localhost:7687", auth=("neo4j", "swpu@swpu"))# 清除已有数据（可选）
neo4j_graph.run("MATCH (n) DETACH DELETE n")# 定义节点和关系标签
PRODUCT_LABEL = "Product"
BRAND_LABEL = "Brand"
CATEGORY_LABEL = "Category"# 创建节点和关系
for product_info in products:# 创建商品节点product_node = Node(PRODUCT_LABEL, name=product_info['name'], price=product_info['price'],description=product_info['description'])neo4j_graph.create(product_node)# 创建品牌节点brand_node = Node(BRAND_LABEL, name=product_info['brand'])neo4j_graph.merge(brand_node, BRAND_LABEL, "name")# 创建商品与品牌的关系relationship = Relationship(product_node, "BRANDED_BY", brand_node)neo4j_graph.create(relationship)# 创建类别节点category_node = Node(CATEGORY_LABEL, name=product_info['category'])neo4j_graph.merge(category_node, CATEGORY_LABEL, "name")# 创建商品与类别的关系relationship = Relationship(product_node, "BELONGS_TO_CATEGORY", category_node)neo4j_graph.create(relationship)print("数据已成功导入到Neo4j知识图谱中。")

详细解释
获取网页内容：