2015/06/18 - 21:58

基于协同过滤音乐推荐系统

1. 数据获取，利用爬虫怕取虾米用户信息和用户行为信息。（已经爬了48w条记录，爬到第8层网页） → 参见爬虫代码

2. 数据预处理 2.1 增加表头元数据信息schema sed -i '1i user,song,author,cnt' user1.csv (i是从当前行之前插入，a是从当前行之后插入) 2.2 先查看是否有四个以上逗号的：sed -n '/,.,.,.,/p' user1.csv 2.3 删除这些数据：sed -i '/,.,.,.,/'d user1.csv 2.3 对数据进行规整，将一个用户数据进行统一。 → 参见mapreduce代码

3. 数学模型 3.1 求每个用户对每首歌的评价矩阵：用两次maphash实现。 3.2 衡量两个用户相似度的方法很多，如余弦相似度、皮尔逊相似度、Jaccard相似度、LSH等等，我们这里用最经典的余弦相似度。 3.3 余弦相似度公式如下： 其中Cos(u1,u2)就表示用户u1与用户u2的相似度；　　 R就是评价矩阵; Ru1,y表示用户u1对音乐y的评分，Ru2,y表示用户u2对音乐y的评分；　　 分子中的y表示用户u1与用户u2评价过的音乐的交集；　　 分母中的y则表示用户u1与u2各自的评分集合； 3.4 求目标用户的最近邻用户，我们这里用TopK算法求最近邻的10个用户（即相似度最高的用户）。 3.5 用最近邻用户的评分来给目标用户进行推荐，推荐评分公式如下：

            Predict(u,i)就表示用户u对音乐i的打分预测值；　　
            U就是用户u的最近邻用户集合；　　
            R就是评价矩阵；
    3.5 得到推荐矩阵后，利用TopK给用户推荐分值最高的前K首歌。