常见的相似性度量方法

有如下几种计算相似性方法：

点积相似度

$$\begin{array}{rl}X\cdot Y& =|X||Y|cos\theta \\ & =\sum _{i=1}^n{x}_i\ast y_i\end{array}$$

向量内积的结果是没有界限的，解决办法就是先归一化再相乘，就是下面的余弦相似度了。

余弦相似度

$$X\cdot Y=\frac{{\sum }_{i=1}^n{x}_i\ast y_i}{\sqrt{{\sum }_{i=1}^n(x_i{)}^2}\ast {\sum }_{i=1}^n(x_i{)}^2}$$

余弦相似度衡量两个向量在方向上的相似性，并不关注两个向量的实际长度，即对绝对数据不敏感。

示例

用户对内容评分，5分制。A和B两个用户对两个商品的评分分别为A：(1,2)和B：(4,5)。使用余弦相似度得出的结果是0.98，看起来两者极为相似，但从评分上看A不喜欢这两个东西，而B比较喜欢。造成这个现象的原因就在于，余弦相似度没法衡量每个维数值的差异，对数值的不敏感导致了结果的误差。
需要修正这种不合理性，就出现了调整余弦相似度，即所有维度上的数值都减去一个均值。
比如A和B对两部电影评分的均值分别是(1+4)/2=2.5,(2+5)/2=3.5。那么调整后为A和B的评分分别是：(-1.5,-1.5)和(1.5,2.5)，再用余弦相似度计算，得到-0.98，相似度为负值，显然更加符合现实。

注：为什么是在所有用户对同一物品的打分上求均值，每个人打分标准不一，对所有用户求均值，等于是所有用户的打分映射到了同一空间内。上述是在计算两个用户的相似度，以此类推计算两个物品的相似度，就要计算所有物品的均值了。

修正的余弦相似度可以说就是对余弦相似度进行归一化处理的算法，公式如下：
$$s(A,B)=\frac{{\sum }_{i\in I}\left(R_{A,i}-\overline{R_i}\right)\left(R_{B,i}-\overline{R_i}\right)}{\sqrt{{\sum }_{i\in I}{\left(R_{A,i}-\overline{R_i}\right)}^2}\sqrt{{\sum }_{i\in I}{\left(R_{B,i}-\overline{R_i}\right)}^2}}$$
$R_{A,i}$ 表示用户A在商品i上的打分，$\overline{R_i}$表示商品i在所有用户上的打分均值。

皮尔逊相关系数

Pearson 相关系数是用来检测两个连续型变量之间线性相关的程度，它解决了余弦相似度会收到向量平移影响的问题。取值范围为 [−1,1]，正值表示正相关，负值表示负相关，绝对值越大表示线性相关程度越高：
$$\begin{array}{rl}{\rho }_{\mathbf{x},\mathbf{y}}& =\frac{\mathrm{cov}(\mathbf{x},\mathbf{y})}{{\sigma }_{\mathbf{x}}{\sigma }_{\mathbf{y}}}\\ & =\frac{E\left[\left(\mathbf{x}-{\mu }_{\mathbf{x}},\mathbf{y}-{\mu }_{\mathbf{y}}\right)\right]}{{\sigma }_{\mathbf{x}}{\sigma }_{\mathbf{y}}}\\ & =\frac{{\sum }_i\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{\sqrt{{\sum }_i{\left(x_i-\bar{x}\right)}^2}\sqrt{{\sum }_i{\left(y_i-\bar{y}\right)}^2}}\end{array}$$
如果把 $x^{\prime }=x-\bar{x},y^{\prime }=y-\bar{y}$ ，那么皮尔逊系数计算的就是 $x^{\prime }和y^{\prime }$ 的余弦相似度。

参考

• 点积相似度、余弦相似度、欧几里得相似度
• 常用的特征选择方法之 Pearson 相关系数
• 图片向量相似检索服务(2)——四种基本距离计算原理
  • 这篇博客倒是很简洁，适合速读
• 点积相似度、余弦相似度、欧几里得相似度
• 相似性和距离度量 (Similarity & Distance Measurement)