首页 > 代码库 > 推荐系统学习之评测指标

推荐系统学习之评测指标

转自 http://blog.csdn.net/sinat_33741547/article/details/52704986

最近开始学习推荐系统,特记录一下学习过程并做个分享。
推荐系统是什么不用多说,这里先介绍一下推荐系统的各种评测指标。
1、用户满意度
这个指标应该是最能体现一个推荐系统好坏的指标,但获取只能通过用户在线的反馈,类似用户问卷调查,或者用户对推荐物品的行为,比如购买、收藏、评分等判别。
2、预测准确度
在离线预测用户行为的评价上,这个指标相当重要。在统计学习中,也就是根据训练数据集学习得到的系统对测试数据集的预测准确度,既泛化能力。
推荐系统在这主要分为两个方面,评分预测与TopN预测。
(1)评分预测:类似豆瓣电影的评分,预测用户对推荐的某一物品的评分从而达到选择最优推荐的目的。而评价评分预测准确度的方法,一般有两种:
RMSE(均方根偏差)和MAE(平均绝对偏差)
(2)TopN预测:类似热门推荐,推荐N个商品给用户。评价这个指标的方法,一般也为两种:
准确率,既根据用户历史行为推荐的商品N与用户实际喜欢的商品M的交集A,与N的比值,A/N
召回率,既根据用户历史行为推荐的商品与与用户实际喜欢的商品M的交集A,与M的比值,A/M
3、覆盖率
普遍假设网站商品都呈长尾分布,既热门的商品总是少数,而且其他商品的热门程度呈曲线下降,存在很多冷门商品。而评价推荐系统的覆盖率即是看系统为所有用户推 荐的全部商品数量,与网站中所有商品数量的差值。当然一般用以下两个指标来评价:
(1)信息熵:又称香农熵,指代信息量的多少,一般来说,覆盖率越高的推荐系统,信息熵越大。
(2)基尼系数:一个经济学系数,在这里指代推荐系统中,热门物品与冷门物品的比值,一般来说,覆盖率越高的推荐系统,基尼系数越接近0
4、多样性
推荐系统给出推荐列表中的商品,两两之间的不相似性。
5、新颖性
推荐给用户的商品是用户从来没有听说过的物品。
6、惊喜度
与用户历史兴趣不相符,但又能让用户满意的商品。
7、信任度
这里一般用添加推荐解释来达成
8、实时性
(1)实时根据用户的新行为来推荐物品,如用户购买手机,同时给用户推荐手机壳
(2)推荐新加入系统的商品
9、健壮性
模拟攻击之后,用户的推荐列表的改变

技术分享

 

推荐系统学习之评测指标