【k近邻】 K-Nearest Neighbors算法k值的选择

【k近邻】 K-Nearest Neighbors算法原理及流程

【k近邻】 K-Nearest Neighbors算法距离度量选择与数据维度归一化

【k近邻】 K-Nearest Neighbors算法k值的选择

【k近邻】 Kd树的构造与最近邻搜索算法

【k近邻】 Kd树构造与最近邻搜索示例

k近邻算法（K-Nearest Neighbors，简称KNN）是一种常用的监督学习算法，可以用于分类和回归问题。在OpenCV中，KNN算法的函数为`cv.ml.KNearest_create()。 

k值的选择

• 选择较小的k值
  • 噪声敏感
  • K值的减小意味着着整体模型会变得复杂，容易发生过拟合情况
  • 学习的近似误差(approximation error)会减小，但学习的估计误差(estimation error)会增大

过拟合：在训练集上准确率非常高，而在测试集上准确率低

• 选择较大的k值
  • K值的增大意味着整体的模型会变得简单
  • 学习的估计误差(estimation error)会减小，但学习的近似误差(approximation error)会增大

• 合理的选择方式：一般先选取一个较小的k值，然后采取交叉验证法来选取最优的k值，即实验调参，类似于神经网络通过调整超参数来得到一个较好的层数。

k近邻算法优缺点

• 优点
  • 精度高
  • 对异常值不敏感
  • 无数据输入假定
• 缺点
  • 计算复杂度高
  • 空间复杂度高