十大机器学习算法深入浅出
本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记
下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！
1. 线性回归
- 第一章：线性回归原理推导
- 1-回归问题概述
- 2-误差项定义
- 3-独立同分布的意义
- 4-似然函数的作用
- 5-参数求解
- 6-梯度下降通俗解释
- 7-参数更新方法
- 8-优化参数设置
- 第二章：线性回归代码实现
- 1-线性回归整体模块概述
- 2-初始化步骤
- 3-实现梯度下降优化模块
- 4-损失与预测模块
- 5-数据与标签定义
- 6-训练线性回归模型
- 7-得到线性回归方程
- 8-整体流程debug解读
- 9-多特征回归模型
- 10-非线性回归
- 第四章：线性回归实验分析
- 1-实验目标分析
- 2-参数直接求解方法
- 3-预处理对结果的影响
- 4-梯度下降模块
- 5-学习率对结果的影响
- 6-随机梯度下降得到的效果
- 7-MiniBatch方法
- 8-不同策略效果对比
- 9-多项式回归
- 10-模型复杂度
- 11-样本数量对结果的影响
- 12-正则化的作用
- 13-岭回归与lasso
- 14-实验总结
2. 模型评估
- 第三章：模型评估方法
- 1-Sklearn工具包简介
- 2-数据集切分
- 3-交叉验证的作用
- 4-交叉验证实验分析
- 5-混淆矩阵
- 6-评估指标对比分析
- 7-阈值对结果的影响
- 8-ROC曲线
3. 逻辑回归
- 第五章：逻辑回归原理推导
- 1-逻辑回归算法原理
- 2-化简与求解
- 第六章：逻辑回归代码实现
- 1-多分类逻辑回归整体思路
- 2-训练模块功能
- 3-完成预测模块
- 4-优化目标定义
- 5-迭代优化参数
- 6-梯度计算
- 7-得出最终结果
- 8-鸢尾花数据集多分类任务
- 9-训练多分类模型
- 10-准备测试数据
- 11-决策边界绘制
- 12-非线性决策边界
- 第七章：逻辑回归实验分析
4. 聚类算法
- 第八章：聚类算法-Kmeans&Dbscan原理
- 1-KMEANS算法概述
- 2-KMEANS工作流程
- 3-KMEANS迭代可视化展示
- 4-DBSCAN聚类算法
- 5-DBSCAN工作流程
- 6-DBSCAN可视化展示
- 第九章：Kmeans代码实现
- 1-Kmeans算法模块概述
- 2-计算得到簇中心点
- 3-样本点归属划分
- 4-算法迭代更新
- 5-鸢尾花数据集聚类任务
- 6-聚类效果展示
- 第十章：聚类算法实验分析
5. 决策树
- 第十一章：决策树原理
- 1-决策树算法概述
- 2-熵的作用
- 3-信息增益原理
- 4-决策树构造实例
- 5-信息增益率与gini系数
- 6-预剪枝方法
- 7-后剪枝方法
- 8-回归问题解决
- 第十二章：决策树代码实现
- 1-整体模块概述
- 2-递归生成树节点
- 3-整体框架逻辑
- 4-熵值计算
- 5-数据集切分
- 6-完成树模型构建
- 7-测试算法效果
- 第十三章：决策树实验分析
6. 集成算法
- 第十四章：集成算法原理
- 1-随机森林算法原理
- 2-随机森林优势与特征重要性指标
- 3-提升算法概述
- 4-stacking堆叠模型
- 第十五章：集成算法实验分析
7. 支持向量机
- 第十六章：支持向量机原理推导
- 1-支持向量机要解决的问题
- 2-距离与数据定义
- 3-目标函数推导
- 4-拉格朗日乘子法求解
- 5-化简最终目标函数
- 6-求解决策方程
- 7-软间隔优化
- 8-核函数的作用
- 9-知识点总结
- 第十七章：支持向量机实验分析
8. 神经网络
- 第十八章：神经网络算法原理
- 1-深度学习要解决的问题
- 2-深度学习应用领域
- 3-计算机视觉任务
- 4-视觉任务中遇到的问题
- 5-得分函数
- 6-损失函数的作用
- 7-前向传播整体流程
- 8-返向传播计算方法
- 9-神经网络整体架构
- 10-神经网络架构细节
- 11-神经元个数对结果的影响
- 12-正则化与激活函数
- 13-神经网络过拟合解决方法
- 第十九章：神经网络代码实现
9. 贝叶斯算法
- 第二十章：贝叶斯算法原理
- 1-贝叶斯要解决的问题
- 2-贝叶斯公式推导
- 3-拼写纠错实例
- 4-垃圾邮件过滤实例
- 第二十一章：贝叶斯代码实现
10. 关联规则
- 第二十二章：关联规则实战分析
- 第二十三章：关联规则代码实现
11. 词向量word2vec
- 第二十四章：词向量word2vec通俗解读
- 第二十五章：代码实现word2vec词向量模型
参考资料：
- 机器学习导论 Ethem Alpaydin（机械工业出版社）
- 这也太全了！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！