当前位置: 首页 > news >正文

基于Word2vec词聚类的关键词实现

在这里插入图片描述

一.基于Word2vec词聚类的关键词步骤

基于Word2Vec的词聚类关键词提取包括以下步骤:

1.准备文本数据:收集或准备文本数据,可以是单一文档或文档集合,涵盖关键词提取的领域。2.文本预处理:清洗文本数据,去除无关字符、标点符号,将文本转换为小写等。进行分词,将文本划分为词语。3.训练Word2Vec模型:使用预处理后的文本数据训练Word2Vec模型。可以使用现有的库如gensim,也可以自行实现Word2Vec模型的训练。定义模型的参数,如词向量维度、窗口大小、最小词频等。4.获取词向量:通过训练好的Word2Vec模型获取每个词语的词向量。5.词聚类:使用聚类算法对词向量进行聚类,将相似的词语分为同一簇。常用的聚类算法包括K-Means、DBSCAN等。定义聚类的数量(簇数)。6.获取每个聚类的代表词:对每个聚类,选择代表性的词语作为关键词。这可以通过计算每个聚类的中心或其他代表性指标来实现。7.输出关键词:将每个聚类的代表词作为关键词输出,得到最终的关键词列表。

整个流程的核心在于使用Word2Vec模型得到词向量,然后通过聚类算法将相似的词语归为一簇,最终提取每个簇的代表性词语作为关键词。这种方法能够捕捉词语之间的语义关系,提高关键词的表达力。

二.基于Word2vec词聚类的关键词的代码实现

词向量的预处理

# coding=utf-8
import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')  # 忽略警告
import codecs
import pandas as pd
import numpy as np
import jieba  # 分词
import jieba.posseg
import gensim  # 加载词向量模型
# 返回特征词向量bai
def word_vecs(wordList, model):name = []vecs = []for word in wordList:word = word.replace('\n', '')try:if word in model:  # 模型中存在该词的向量表示name.append(word.encode('utf8').decode("utf-8"))vecs.append(model[word])except KeyError:continuea = pd.DataFrame(name, columns=['word'])b = pd.DataFrame(np.array(vecs, dtype='float'))return pd.concat([a, b], axis=1)
# 数据预处理操作:分词,去停用词,词性筛选
def data_prepare(text, stopkey):l = []# 定义选取的词性pos = ['n', 'nz', 'v', 'vd', 'vn', 'l', 'a', 'd']seg = jieba.posseg.cut(text)  # 分词for i in seg:# 去重 + 去停用词 + 词性筛选if i.word not in l and i.word\not in stopkey and i.flag in pos:# print i.wordl.append(i.word)return l
# 根据数据获取候选关键词词向量
def build_words_vecs(data, stopkey, model):idList, titleList, abstractList = data['id'], data['title'], data['abstract']for index in range(len(idList)):id = idList[index]title = titleList[index]abstract = abstractList[index]l_ti = data_prepare(title, stopkey)  # 处理标题l_ab = data_prepare(abstract, stopkey)  # 处理摘要# 获取候选关键词的词向量words = np.append(l_ti, l_ab)  # 拼接数组元素words = list(set(words))  # 数组元素去重,得到候选关键词列表wordvecs = word_vecs(words, model)  # 获取候选关键词的词向量表示# 词向量写入csv文件,每个词400维data_vecs = pd.DataFrame(wordvecs)data_vecs.to_csv('result/vecs/wordvecs_' + str(id) + '.csv', index=False)print ("document ", id, " well done.")
def main():# 读取数据集dataFile = 'data/text.csv'data = pd.read_csv(dataFile)# 停用词表stopkey = [w.strip() for w in codecs.open('data/stopWord.txt', 'r', encoding='utf-8').readlines()]# 词向量模型inp = 'wiki.zh.text.vector'model = gensim.models.KeyedVectors.load_word2vec_format(inp, binary=False)build_words_vecs(data, stopkey, model)
if __name__ == '__main__':main()

基于word2vec的关键词提取

# coding=utf-8
import os
from sklearn.cluster import KMeans
import pandas as pd
import numpy as np
import math
# 对词向量采用K-means聚类抽取TopK关键词
def words_kmeans(data, topK):words = data["word"]  # 词汇vecs = data.iloc[:, 1:]  # 向量表示kmeans = KMeans(n_clusters=1, random_state=10).fit(vecs)labels = kmeans.labels_  # 类别结果标签labels = pd.DataFrame(labels, columns=['label'])new_df = pd.concat([labels, vecs], axis=1)vec_center = kmeans.cluster_centers_  # 聚类中心# 计算距离(相似性) 采用欧几里得距离(欧式距离)distances = []vec_words = np.array(vecs)  # 候选关键词向量,dataFrame转arrayvec_center = vec_center[0]  # 第一个类别聚类中心,本例只有一个类别length = len(vec_center)  # 向量维度for index in range(len(vec_words)):  # 候选关键词个数cur_wordvec = vec_words[index]  # 当前词语的词向量dis = 0  # 向量距离for index2 in range(length):dis += (vec_center[index2] - cur_wordvec[index2]) * \(vec_center[index2] - cur_wordvec[index2])dis = math.sqrt(dis)distances.append(dis)distances = pd.DataFrame(distances, columns=['dis'])# 拼接词语与其对应中心点的距离result = pd.concat([words, labels, distances], axis=1)# 按照距离大小进行升序排序result = result.sort_values(by="dis", ascending=True)# 抽取排名前topK个词语作为文本关键词wordlist = np.array(result['word'])# 抽取前topK个词汇word_split = [wordlist[x] for x in range(0, topK)]word_split = " ".join(word_split)return word_split
if __name__ == '__main__':# 读取数据集dataFile = 'data/text.csv'articleData = pd.read_csv(dataFile)ids, titles, keys = [], [], []rootdir = "result/vecs"  # 词向量文件根目录fileList = os.listdir(rootdir)  # 列出文件夹下所有的目录与文件# 遍历文件for i in range(len(fileList)):filename = fileList[i]path = os.path.join(rootdir, filename)if os.path.isfile(path):# 读取词向量文件数据data = pd.read_csv(path, encoding='utf-8')# 聚类算法得到当前文件的关键词artile_keys = words_kmeans(data, 5)# 根据文件名获得文章id以及标题(shortname, extension) = os.path.splitext(filename)t = shortname.split("_")article_id = int(t[len(t) - 1])  # 获得文章id# 获得文章标题artile_tit = articleData[articleData.id == article_id]['title']print(artile_tit)print(list(artile_tit))artile_tit = list(artile_tit)[0]  # series转成字符串ids.append(article_id)titles.append(artile_tit)keys.append(artile_keys.encode("utf-8").decode("utf-8"))# 所有结果写入文件result = pd.DataFrame({"id": ids, "title": titles, "key": keys}, columns=['id', 'title', 'key'])result = result.sort_values(by="id", ascending=True)  # 排序result.to_csv("result/word2vec.csv", index=False, encoding='utf_8_sig')
http://www.lryc.cn/news/285656.html

相关文章:

  • 开源项目_大模型应用_Chat2DB
  • 【线性代数与矩阵论】范数理论
  • 【C++】priority_queue模拟实现过程中值得注意的点
  • Git提交 ssh: connect to host github.com port 22: Connection timed out解决方案
  • Java调用WebService接口,SOAP协议HTTP请求返回XML对象
  • Django框架二
  • 工业相机与镜头参数及选型
  • VSCode使用Makefile Tools插件开发C/C++程序
  • 用C语言验证“三门定理”
  • 计算机网络-分层结构,协议,接口,服务
  • 前端开发 2: CSS
  • 嵌入式-Stm32-江科大基于标准库的GPIO4个小实验
  • HackTheBox - Medium - Linux - Noter
  • Uniapp多选Popup(弹出层)
  • 什么是网络安全?网络安全概况
  • c语言小游戏之扫雷
  • 如何本地安装Python Flask并结合内网穿透实现远程开发
  • 在线App封装技术:HTML5的新生命
  • Spring Boot 4.0:构建云原生Java应用的前沿工具
  • Debian系统写Mysql时中文出现乱码无法定入的问题解决方案
  • CPMS靶场练习
  • CTFhub-bak文件
  • 本地部署轻量级web开发框架Flask并实现无公网ip远程访问开发界面
  • 面试题-MySQL如何定位慢查询
  • 【C++PCL】点云处理K-Means点云分割
  • 代码随想录算法训练DAY25|回溯2
  • hanlp,pkuseg,jieba,cutword分词实践
  • 一个简单的Vue实例
  • 【GoLang入门教程】Go语言几种标准库介绍(八)
  • [系统安全] 五十四.恶意软件分析 (6)PE文件解析及利用Python获取样本时间戳