推荐系统学习
pd.read_csv返回的是dataframe,并不是一个可迭代对象,可用itertuples()或者values.tolist()函数将其转化tuple或者列表
df.itertuples()返回的是迭代器对象,转化成列表还要list(df.itertuples())
values.tolist()返回的是列表
评测指标:
1.召回率:描述有多少比例的用户—物品评分记录包含在最终的推荐列表中
2.准确率:最终 的推荐列表中有多少比例是发生过的用户—物品评分记录
3.覆盖率:最终的推荐列表中包含多大比例的物品;覆盖率反映了推荐算法发掘长尾的 能力,覆盖率越高,说明推荐算法越能够将长尾中的物品推荐给用户
4.平均流行度:在所有用户的推荐列表中,推荐的物品有多“热门”。如果系统只推荐 所有人都喜欢的热门商品,那平均流行度就会高;如果系统能推荐一些 小众但用户可能喜欢的宝藏物品,那平均流行度会低。
算法:
协同过滤算法:利用用户历史行为数据,通过用户之间或物品之间的相似性来推荐用户可能喜欢的物品。
(1)基于用户的协同过滤(User-based CF)
通过计算用户之间的相似度,找出和目标用户兴趣相似的“邻居”用户;
根据邻居用户喜欢的物品,推荐给目标用户他还未接触过的物品。
用户u和用户v的兴趣相似度
Jaccard公式:
余弦相似度:
我们可以首先计算出的用户对(u,v),然后再对这种情况除以分母
。 为此,可以首先建立物品到用户的倒排表,对于每个物品都保存对该物品产生过行为的用户 列表。令稀疏矩阵
。那么,假设用户u和用户v同时属于倒排表中K个物品对 应的用户列表,就有C[u][v]=K。从而,可以扫描倒排表中每个物品对应的用户列表,将用户列 表中的两两用户对应的C[u][v]加1,最终就可以得到所有用户之间不为0的C[u][v]。下面的代码实 现了上面提到的算法:
用户相似度计算的改进:
两个用户对 冷门物品采取过同样的行为更能说明他们兴趣的相似度。因此,John S. Breese在论文①中提出了 如下公式,根据用户行为计算用户的兴趣相似度:
N(u)为用户u曾经有过正反馈的物品集合
(2)基于物品的协同过滤(Item-based CF)
通过计算物品之间的相似度,找出和用户已喜欢物品相似的物品;
推荐这些相似物品给用户。