主题模型实践
目录
一.TF-IDF
二.LSI
三.相似度
四.主题和主题分布
五. LDA计算的相似度
六.LDA过程
七.主题
八.主题和主题分布
九.数据处理流程
十.常用正则表达式
十一.代码
一.TF-IDF
二.LSI
三.相似度
四.主题和主题分布
五. LDA计算的相似度
六.LDA过程
七.主题
八.主题和主题分布
九.数据处理流程
1.获取QQ群聊天记录：txt文本格式
2.整理成“QQ号/时间/留言”的规则形式
正则表达式
清洗特定词：表情、@XX
使用停止词库
获得csv表格数据
3.合并相同QQ号的留言
长文档利于计算每人感兴趣话题
4.LDA模型计算主题
调参与可视化
5.计算每个QQ号及众人感兴趣话题
十.常用正则表达式
匹配中文字符： [\u4e00-\u9fa5]
匹配双字节字符(包括汉字在内)：[^\x00-\xff]
匹配空白行：\n\s*\r
匹配HTML标记：<(\S*?)[^>]*>.*?</\1>|<.*? />
匹配首尾空白字符：^\s*|\s*$
匹配Email地址：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
匹配网址URL：[a-zA-z]+://[^\s]*
匹配帐号合法(5-16位，字母开头，允许字母数字下划线)：^[a-zA- Z][a-zA-Z0-9_]{4,15}$
匹配国内电话号码：\d{3}-\d{8}|\d{4}-\d{7}
匹配腾讯QQ号：[1-9][0-9]{4,}
匹配中国邮政编码：[1-9]\d{5}(?!\d)
匹配身份证：\d{15}|\d{18}|\d{17}[xX]
匹配ip地址：\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}
匹配特定数字：
匹配正整数：^[1-9]\d*$
匹配负整数：^-[1-9]\d*$
匹配整数：^-?[1-9]\d*$
匹配非负整数(正整数 + 0)：^[1-9]\d*|0$
匹配非正整数(负整数 + 0)：^-[1-9]\d*|0$
匹配正浮点数：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$
匹配负浮点数：^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$
匹配浮点数：^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
匹配非负浮点数(正浮点数 + 0)：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
匹配非正浮点数(负浮点数 + 0)：^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$ 匹配特定字符串：
匹配由26个英文字母组成的字符串：^[A-Za-z]+$
匹配由26个英文字母的大写组成的字符串：^[A-Z]+$
匹配由26个英文字母的小写组成的字符串：^[a-z]+$
匹配由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
匹配由数字26个英文字母或下划线组成的字符串：^\w+$
十一.代码
if __name__ == '__main__':f = open('LDA_test.txt')stop_list = set('for a of the and to in'.split())# texts = [line.strip().split() for line in f]# print 'Before'# pprint(texts)print ('After')texts = [[word for word in line.strip().lower().split() if word not in stop_list] for line in f]print ('Text = ')pprint(texts)dictionary = corpora.Dictionary(texts)print (dictionary)V = len(dictionary)corpus = [dictionary.doc2bow(text) for text in texts]corpus_tfidf = models.TfidfModel(corpus)[corpus]# corpus_tfidf = corpusprint( 'TF-IDF:')for c in corpus_tfidf:print( c)print ('\nLSI Model:')lsi = models.LsiModel(corpus_tfidf, num_topics=2, id2word=dictionary)topic_result = [a for a in lsi[corpus_tfidf]]pprint(topic_result)print ('LSI Topics:')pprint(lsi.print_topics(num_topics=2, num_words=5))similarity = similarities.MatrixSimilarity(lsi[corpus_tfidf]) # similarities.Similarity()print ('Similarity:')pprint(list(similarity))print ('\nLDA Model:')num_topics = 2lda = models.LdaModel(corpus_tfidf, num_topics=num_topics, id2word=dictionary,alpha='auto', eta='auto', minimum_probability=0.001, passes=10)doc_topic = [doc_t for doc_t in lda[corpus_tfidf]]print ('Document-Topic:\n')pprint(doc_topic)for doc_topic in lda.get_document_topics(corpus_tfidf):print (doc_topic)for topic_id in range(num_topics):print ('Topic', topic_id)# pprint(lda.get_topic_terms(topicid=topic_id))pprint(lda.show_topic(topic_id))similarity = similarities.MatrixSimilarity(lda[corpus_tfidf])print ('Similarity:')pprint(list(similarity))hda = models.HdpModel(corpus_tfidf, id2word=dictionary)topic_result = [a for a in hda[corpus_tfidf]]print ('\n\nUSE WITH CARE--\nHDA Model:')pprint(topic_result)print ('HDA Topics:')print (hda.print_topics(num_topics=2, num_words=5))