文本分类与情感分析Python实战

文本数据预处理

在文本分类与情感分析任务中，原始文本数据往往包含大量噪声和不规范内容，需要进行有效的预处理，以提高模型的性能和准确性。

文本清洗

文本清洗的目的是去除文本中无关的字符、符号和噪声数据。例如，去除 HTML 标签、特殊字符、数字等。以下是一个使用 Python 进行文本清洗的示例代码：

import redef clean_text(text):# 去除 HTML 标签text = re.sub(r'<[^>]+>', '', text)# 去除特殊字符text = re.sub(r'[^a-zA-Z\s]', '', text)# 将文本转换为小写text = text.lower()return textsample_text = "<p>Hello, World! 123</p>"
cleaned_text = clean_text(sample_text)
print(cleaned_text)  # 输出：hello world

分词

分词是将连续的文本切分成一个个独立的单词或词语的过程。在英语中，通常可以根据空格和标点符号进行简单的分词；而在中文等语言中，由于词语之间没有明显的分隔符，需要使用专门的分词工具。以下是使用 Python 的 nltk 库进行英语分词和使用 jieba 库进行中文分词的示例代码：

import nltk
from nltk.tokenize import word_tokenize
import jieba# 英语分词示例
english_text = "This is a sample sentence."
english_tokens = word_tokenize(english_text)
print(english_tokens)  # 输出：['This', 'is', 'a', 'sample', 'sentence', '.']# 中文分词示例
chinese_text = "这是一个示例句子。"
chinese_tokens = jieba.lcut(chinese_text)
print(chinese_tokens)  # 输出：['这是', '一个', '示例', '句子', '。']

去除停用词

停用词是指在文本中出现频率很高，但对文本语义贡献较小的词语，如“的”、“是”、“在”等。去除停用词可以减少特征维度，提高模型训练效率。以下是一个去除停用词的示例代码：

from nltk.corpus import stopwords# 获取英语停用词列表
english_stop_words = set(stopwords.words('english'))def remove_stopwords(tokens, stop_words):filtered_tokens = [token for token in tokens if token not in stop_words]return filtered_tokensenglish_filtered_tokens = remove_stopwords(english_tokens, english_stop_words)
print(english_filtered_tokens)  # 输出：['sample', 'sentence', '.']

特征提取方法

经过预处理后的文本数据需要转换为机器学习模型可以处理的特征向量，常见的特征提取方法有词袋模型（Bag of Words）和词向量（Word Embedding）。

词袋模型

词袋模型是一种简单而常用的文本特征提取方法，它将文本看作一个由词语组成的集合，忽略词语的顺序和语法结构，统计每个词语在文本中出现的次数作为特征。以下是使用 Python 的 sklearn 库构建词袋模型的示例代码：

from sklearn.feature_extraction.text import CountVectorizer# 示例文本数据集
corpus = ["This is the first document.","This document is the second document.","And this is the third one.","Is this the first document?"
]# 创建词袋模型实例
vectorizer = CountVectorizer()
# 将文本转换为特征向量
X = vectorizer.fit_transform(corpus)
# 输出特征向量
print(X.toarray())
# 输出词汇表
print(vectorizer.get_feature_names_out())

词向量

词向量是一种能够捕捉词语语义信息的特征表示方法，它将每个词语映射为一个固定长度的实数向量，使得语义相似的词语在向量空间中距离较近。常见的词向量训练方法有 Word2Vec 和 GloVe 等。以下是使用 Python 的 gensim 库训练 Word2Vec 模型的示例代码：

from gensim.models import Word2Vec# 示例文本数据集（已分词）
tokenized_corpus = [['this', 'is', 'the', 'first', 'document'],['this', 'document', 'is', 'the', 'second', 'document'],['and', 'this', 'is', 'the', 'third', 'one'],['is', 'this', 'the', 'first', 'document']
]# 训练 Word2Vec 模型
model = Word2Vec(sentences=tokenized_corpus, vector_size=100, window=5, min_count=1, workers=4)# 获取词语的向量表示
word_vector = model.wv['document']
print(word_vector)

文本分类模型

在完成文本数据的预处理和特征提取后，就可以选择合适的机器学习模型进行文本分类任务了。常见的文本分类模型有朴素贝叶斯（Naive Bayes）、支持向量机（SVM）和深度学习模型等。

朴素贝叶斯分类器

朴素贝叶斯分类器是一种基于贝叶斯定理的简单概率分类器，它在文本分类任务中表现良好，尤其适用于高维稀疏的文本数据。以下是使用 Python 的 sklearn 库构建朴素贝叶斯分类器的示例代码：

from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 示例文本数据集（已转换为特征向量）
X = [[1, 0, 1, 0, 1],[0, 1, 1, 1, 0],[1, 1, 0, 0, 1],[0, 0, 1, 1, 0]
]
y = [0, 1, 0, 1]  # 类别标签# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建朴素贝叶斯分类器实例
classifier = MultinomialNB()
# 训练模型
classifier.fit(X_train, y_train)
# 预测测试集
y_pred = classifier.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

支持向量机分类器

支持向量机是一种强大的分类模型，它通过寻找最优的超平面来划分不同类别的数据。在文本分类任务中，SVM 可以有效地处理高维特征向量。以下是使用 Python 的 sklearn 库构建支持向量机分类器的示例代码：

from sklearn.svm import SVC# 创建支持向量机分类器实例
classifier = SVC(kernel='linear')
# 训练模型
classifier.fit(X_train, y_train)
# 预测测试集
y_pred = classifier.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

深度学习模型

深度学习模型在文本分类任务中也取得了很好的效果，例如卷积神经网络（CNN）和循环神经网络（RNN）等。以下是使用 Python 的 tensorflow 库构建一个简单的 CNN 文本分类模型的示例代码：

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Dense# 示例文本数据集（已转换为序列）
X = [[1, 2, 3, 4, 5],[2, 3, 4, 5, 6],[1, 3, 5, 7, 9],[2, 4, 6, 8, 10]
]
y = [0, 1, 0, 1]  # 类别标签# 将数据集转换为张量
X = tf.constant(X)
y = tf.constant(y)# 构建 CNN 模型
model = Sequential([Embedding(input_dim=10, output_dim=32, input_length=5),Conv1D(filters=32, kernel_size=3, activation='relu'),GlobalMaxPooling1D(),Dense(1, activation='sigmoid')
])# 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])# 训练模型
model.fit(X, y, epochs=10)

情感分析实战

情感分析是文本分类的一个重要应用领域，它旨在判断文本所表达的情感倾向，如积极、消极或中性。下面通过一个具体的例子来演示如何使用 Python 进行情感分析。

数据准备

使用一个公开的情感分析数据集，例如 IMDB 电影评论数据集。需要加载数据集并进行预处理。

import pandas as pd
from sklearn.model_selection import train_test_split# 加载 IMDB 数据集
df = pd.read_csv('imdb_reviews.csv')# 查看数据集前几行
print(df.head())# 数据预处理（清洗、分词、去除停用词等）
df['review'] = df['review'].apply(clean_text)
df['tokens'] = df['review'].apply(word_tokenize)
df['filtered_tokens'] = df['tokens'].apply(lambda x: remove_stopwords(x, english_stop_words))

特征提取与模型训练

接下来，对预处理后的文本数据进行特征提取，并选择合适的模型进行训练。这里使用词袋模型和朴素贝叶斯分类器进行情感分析。

# 将文本转换为特征向量
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(df['filtered_tokens'].apply(lambda x: ' '.join(x)))
y = df['sentiment']# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建朴素贝叶斯分类器实例并训练模型
classifier = MultinomialNB()
classifier.fit(X_train, y_train)

模型评估与预测

训练完成后，可以对测试集进行预测，并评估模型的性能。

# 预测测试集
y_pred = classifier.predict(X_test)# 计算准确率、精确率、召回率和 F1 值
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_scoreaccuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='weighted')
recall = recall_score(y_test, y_pred, average='weighted')
f1 = f1_score(y_test, y_pred, average='weighted')print("Accuracy:", accuracy)
print("Precision:", precision)
print("Recall:", recall)
print("F1 Score:", f1)

通过以上步骤，成功地使用 Python 实现了文本分类与情感分析任务。在实际应用中，可以根据具体的任务需求和数据特点，选择合适的预处理方法、特征提取方法和模型，以获得更好的性能和效果。