机器学习笔记 - 维度诅咒的数学表达

1、点之间的距离

        kNN分类器假设相似的点也可能有相同的标签。但是，在高维空间中，从概率分布中得出的点往往不会始终靠近在一起。 我们可以用一个简单的例子来说明这一点。 我们将在单位立方体内均匀地随机绘制点（如图所示），并研究该立方体内测试点的 k 个最近邻将占用多少空间。

        想象单位立方体。 所有训练数据都在这个立方体内均匀采样，即，并且我们正在考虑这样一个测试点的k=10个最近邻。

        令 ℓ 为包含测试点的所有 k-nn的最小超立方体的边长。，