【PRML】分类

1-parametric（参数方法） 和 nonparametric（非参数方法）

parametric：圈定一个假设空间，一个有限参数显式模型，比如高斯，下面直接拟合模型的参数即可，用训练或者观测的数据；

比如：线性回归、逻辑回归（假设概率分布是 Sigmoid 映射）、高斯分布建模（只需要均值 μ 和方差 σ² 两个参数）、高斯混合模型（GMM，假设成多个高斯分布的加权和

不过一旦模型不对，偏差极大

Nonparametric：不对数据的分布形式做固定假设，允许模型复杂度随数据量增加而增加. 让数据自己决定模型形状，模型的“参数量”可能无限增长

K 近邻（KNN）分类、核密度估计（KDE）、决策树 / 随机森林

2-生成式模型 Generative Models

2.1-思想

考虑两分类模型：
$$\begin{array}{c}p({\mathcal{C}}_1\mid \mathbf{x})=\frac{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\mathbf{x})}=\frac{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)+p(\mathbf{x}\mid {\mathcal{C}}_2)p({\mathcal{C}}_2)}.\end{array}$$把分子和分母同时除以 $p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)$：
$$\begin{array}{c}p({\mathcal{C}}_1\mid \mathbf{x})=\frac{1}{1+\frac{p(\mathbf{x}\mid {\mathcal{C}}_2)p({\mathcal{C}}_2)}{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)}}.\end{array}$$此时分母是一个似然比检验，令$a=\ln \frac{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\mathbf{x}\mid {\mathcal{C}}_2)p({\mathcal{C}}_2)}$，则 p ( x ∣ C 2 )   p ( C 2 ) p ( x ∣ C 1 )   p ( C 1 ) = e − a \frac{p(\mathbf{x}\mid\mathcal{C}_2)\,p(\mathcal{C}_2)} {p(\mathbf{x}\mid\mathcal{C}_1)\,p(\mathcal{C}_1)} = e^{-a} p(x∣C1​)p(C1​)p(x∣C2​)p(C