K-近邻算法（一）
一、 K- 近邻算法 (KNN) 概念
1.1 K- 近邻算法 (KNN) 概念
K Nearest Neighbor 算法⼜叫 KNN 算法，这个算法是机器学习⾥⾯⼀个⽐较经典的算法， 总体来说 KNN 算法是相对⽐ 较容易理解的算法
定义 : 如果⼀个样本在特征空间中的k 个最相似 ( 即特征空间中最邻近 ) 的样本中的⼤多数属于某⼀个类别 ，则该样本也属于这个类别。
来源： KNN 算法最早是由 Cover 和 Hart 提出的⼀种分类算法
距离公式 ：两个样本的距离可以通过如下公式计算，⼜叫欧式距离
1.2 KNN 算法流程总结
1 ）计算已知类别数据集中的点与当前点之间的距离
2 ）按距离递增次序排序
3 ）选取与当前点距离最⼩的 k 个点
4 ）统计前 k 个点所在的类别出现的频率
5 ）返回前 k 个点出现频率最⾼的类别作为当前点的预测分类
二、K- 近邻算法api初步使⽤
2.1 机器学习流程：
1. 获取数据集
2. 数据基本处理
3. 特征⼯程
4. 机器学习
5. 模型评估
2.2 K- 近邻算法 API
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)
n_neighbors ： int, 可选（默认 = 5 ）， k_neighbors 查询默认使⽤的邻居数
from sklearn.neighbors import KNeighborsClassifier#1.构造数据
x = [[1],[2],[10],[20]]
y = [0,0,1,1]
#2.训练模型
#2.1 实例化一个估计器对象
estimator = KNeighborsClassifier(n_neighbors=1)#2.2调用fit方法，进行训练
estimator.fit(x,y)
#3.数据预测
ret=estimator.predict([[0]])
print(ret)ret1=estimator.predict([[100]])
print(ret1) 2.4 ⼩结
sklearn 的优势 : ⽂档多, 且规范；包含的算法多；实现起来容易
knn 中的 api ： sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)