当前位置：首页 > news >正文

机器学习笔记六-朴素贝叶斯

news 2025/7/30 10:30:09

朴素贝叶斯（Naive Bayes） 是一种基于贝叶斯定理的简单而强大的分类算法，特别适用于文本分类等高维数据集。它被称为“朴素”，因为它假设特征之间是相互独立的，这在现实中可能不完全成立，但这种假设在许多实际应用中表现出令人惊讶的有效性。

贝叶斯定理

贝叶斯定理描述了在给定条件下事件发生的概率，公式如下：

$\frac{P(X|C) \cdot P(C)}{P(X)}$

(P(C|X)): 在给定特征 (X) 的情况下，类别 (C) 的后验概率。
(P(X|C)): 在类别 (C) 给定的情况下，特征 (X) 出现的似然概率。
(P©): 类别 © 的先验概率，即在没有给定特征时，类别的概率。
(P(X)): 特征 (X) 的边际概率，通常可以被认为是一个常量。

朴素贝叶斯的假设

朴素贝叶斯的“朴素”假设是，特征之间是条件独立的，即：

$P(x_1|C) \cdot P(x_2|C) \cdot \ldots \cdot P(x_n|C)$

其中， $(x_1, x_2, \ldots, x_n)$ 表示特征向量的每一个特征。

朴素贝叶斯的分类过程

计算先验概率 (P©)：
- 通过训练数据中各类别的比例来估计先验概率。
计算条件概率 (P(X|C))：
- 在假设特征条件独立的情况下，计算各特征在类别 (C) 下的条件概率。
计算后验概率 (P(C|X))：
- 使用贝叶斯定理结合先验概率和条件概率，计算出给定特征向量 (X) 时，类别 (C) 的后验概率。
分类决策：
- 选择后验概率最大的类别作为预测类别，即 $\hat{C} = \arg\max_{C} P(C|X)$ 。

朴素贝叶斯的类型

高斯朴素贝叶斯（Gaussian Naive Bayes）：
- 假设特征服从高斯分布，通常用于连续数据。
多项式朴素贝叶斯（Multinomial Naive Bayes）：
- 假设特征是离散的，常用于文本分类和离散特征的数据。
伯努利朴素贝叶斯（Bernoulli Naive Bayes）：
- 假设特征是二元变量，常用于二分类问题或文本分类中的词袋模型。

优缺点

优点:

速度快、效率高: 由于朴素贝叶斯算法的计算复杂度低，因此它在处理大型数据集时非常高效。
对高维数据表现良好: 特别适用于文本分类等高维特征数据。
简单易实现: 朴素贝叶斯算法非常简单且易于实现，并且在许多实际场景中表现良好。
适用于增量学习: 朴素贝叶斯可以方便地更新模型，适合在线学习。

缺点:

独立性假设不成立: 朴素贝叶斯的独立性假设在实际中往往不成立，这可能会影响模型的性能。
概率估计不准确: 朴素贝叶斯输出的概率并不一定可靠，尤其是在类别不平衡的情况下。
对数据敏感: 当某个特征在某类中未出现时，该特征的概率可能为零，影响结果（可通过拉普拉斯平滑解决）。

示例代码（使用 `sklearn`）：

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score, classification_report# 示例数据：假设这是文本分类任务的词频矩阵
data = {'word1': [1, 2, 0, 1, 0],'word2': [0, 1, 0, 1, 2],'word3': [0, 0, 1, 2, 1],'word4': [1, 0, 2, 1, 1],'class': [0, 1, 0, 1, 0]
}
df = pd.DataFrame(data)# 特征和标签
X = df.drop(columns='class')
y = df['class']# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 初始化并训练朴素贝叶斯模型
model = MultinomialNB()
model.fit(X_train, y_train)# 预测和评估
y_pred = model.predict(X_test)
print(f"Accuracy: {accuracy_score(y_test, y_pred):.2f}")
print(classification_report(y_test, y_pred))