机器学习基础-概率图模型
（一阶）马尔科夫模型的基本概念
状态、状态转换概率、初始概率
状态转移矩阵的基本概念
隐马尔可夫模型（HMM）的基本概念
条件随机场（CRF）的基本概念
实际应用中的马尔科夫性
自然语言处理：
- 在词性标注、命名实体识别等任务中，句子中的词语通常被视为一个序列，每个词的词性标签只依赖于前后几个词的标签，这可以通过马尔科夫模型来建模。
金融预测：
- 股票价格走势有时被假设为具有马尔科夫性，即今天的股价变化主要取决于昨天的收盘价，而不是更早的历史数据。
生物信息学：
- DNA 序列中的碱基排列可以看作是一个马尔科夫链，用于基因预测和功能注释。
HMM和CRF的比较
| 特性 | 隐马尔科夫模型 (HMM) | 条件随机场 (CRF) |
|---|---|---|
| 模型类型 | 生成式模型：建模联合概率 P(X,Y) | 判别式模型：直接建模条件概率 $P(Y |
| 依赖关系 | 观测值仅依赖于当前隐藏状态；隐藏状态遵循马尔科夫性 | 允许更复杂的依赖结构，包括观测值之间的依赖 |
| 特征函数 | 固定特征，主要为状态转移概率和发射概率 | 支持丰富的特征函数，可以捕捉复杂的关系 |
| 标记偏置问题 | 容易出现标记偏置问题 | 通过全局优化避免标记偏置 |
| 适用场景 | 更适合观测值独立的任务，如语音识别中的音素分类 | 更适用于需要考虑上下文信息的任务，如词性标注、命名实体识别 |
| 灵活性与表达能力 | 结构简单，参数较少，数据量有限时可能更稳定 | 提供更高的灵活性和表达能力，但需注意过拟合风险 |
主题模型（Topic Model）的基本概念
- 主要用于自然语言处理NLP
- 样本为文档，特征为词语
- 用于从众多文档中发现隐藏的语义主题，相当于对文档聚类，并发现不同词语对不同主题的贡献程度
- 无监督学习