全国电子音乐交流中心

推荐系统教科书:亚马逊推荐系统机制的分析

数盟2020-06-29 12:42:06

【数盟倡导“数据创造价值”,致力于打造最卓越的数据科学交流平台,为企业、个人提供最卓越的服务】


推荐机制作为成熟的技术用到网站的各个方面,譬如内容网站推荐机制可以为用户作个性化的网页内容定制,电商网站可以为用户作商品推荐,客户中心、柜面可以利用推荐机制为用户提供个性化服务。豆瓣电影、读书以及音乐台一致被大家津津乐道,视其为推荐机制“教科书”般的案例,电商网站被大家提得最多的商品推荐要属Amazon。


一个电子商务网站推荐机制的好坏,对其用户的联合销售以及转化率的提高有着极其重要的作用,对比线下零售来说,推荐系统就相当于实体店里的“导购员”,对于零售店中,“导购员”起到提高顾客的购买愿意、购买金额。同样的的,一个好的推荐系统, 对于电子商务网站来说:1、提高用户体验,许多个性化的推荐;更好的向顾客展示商品,提高转换率。2、发现顾客的潜在需求,提高客单价。电商商务的先驱-亚马逊号称推荐系统提高了其30%的销售。


但一个好的推荐系统建立不是一挥而就,就像一个好的“导购员”,需要不断的进行经验积累、需要参加更种培训,以提高销售技能一样。需要不断的迭代、优化,不仅需要从算法上、计算效率上提高,现在更多加入了许多数据分析师日常工作中发现的规律,(例如:通过顾客的人口统计学对顾客进行了细分,在细分好的基础上,再利用推荐系统的相关算法,可有效的提高系统的准确性。)建立一个类似于专家库,把这些知识结合进入推荐系统中。


电商网站常见的推荐表现形式


内容网站推荐机制可以为用户作个性化的网页内容定制,电商网站可以为用户作商品推荐,客户中心、柜面可以利用推荐机制为用户提供个性化服务。豆瓣电影、读书以及音乐台一致被大家津津乐道,似其为推荐机制“教科书”般的案例,电商网站被大家提得最多的商品推荐要属Amazon。


国内电商网站常见的推荐形式包括三种:1)针对用户的浏览、搜索等行为所做的相关推荐;2)根据购物车或物品收藏所做的相似物品推荐;3)根据历史会员购买行为记录,利用推荐机制做EDM或会员营销。前面2种表现形式是大家可以在网站上看到,而第3种表现形式只有体验后才能知晓,一封邮件,一条短信,一条站内消息都是它的表现方式。下面将对亚马逊中国的前两种表现形式进行简单说明:


对于非登录用户,亚马逊中国在网站首页和类目栏,会根据各个类目畅销品的情况做响应的推荐,其主要表现形式为排行榜。搜索浏览页面以及具体的产品页面的推荐形式则有关联推荐(“经常一起购买的商品”)和基于人群偏好的相似性推荐(“购买此物品的顾客也购买了”、““看过此商品的顾客购买的其他商品”)。


对于登录用户,亚马逊中国则给出了完全不同的推荐方式,网站会根据用户的历史浏览记录在登入界面首屏展现出一个今日推荐的栏目,紧接着是最近一次浏览商品的记录和根据该物品所给的产品推荐(“根据浏览推荐给我的商品”、“浏览XX产品的用户会买XX的概率”),值得注意的是,每个页面最下方网站都会根据用户的浏览行为做响应推荐,如果没有浏览记录则会推荐“系统畅销品”(13页,50款商品)。

国内其他电子商务厂商的推荐形式和亚马逊中国的推荐形式并没有太多的区别,只是在推荐语句说明上更加符合国人的习惯,譬如猜你喜欢,最佳拍档,最佳组合等等,再者就是推荐位置上的变动。


常见的推荐算法


本部分内容是对2011年中国统计网与EC数据分析联盟上海棋局活动的一个总结,感谢华院数云段总智能营销部分的精彩演讲,特别是推荐算法部分的精彩解说。


一个完整的推荐系统由四部分组成:收集用户行为信息的记录模块、分析处理用户偏好的模型分析模块、推荐算法模块(核心)和反馈处理模块。推荐系统的目标就是把合适的商品推荐给合适的人,目前常见的推荐机制算法包括基于关联规则的算法(Association Rule_based Recommendation)、基于内容的协同算法(Content-based Recommendation)、协同过滤推荐算法(Collaborative Filtering Recommendation)。


推荐系统的使用的数据主要都是日志/消费类的数据,通过一定的数据预处理,最终使用算法的数据是一个二维表-或者是一个MXN的矩阵(暂时不去考虑时间这个因素,考虑的时候就是一种时序浏览,考虑时间因素就是一个三维的,本文只是对推荐进行基础介绍,大家如果有兴趣,可以到论坛进行讨论。)列是所有的商品类目,行是就是所有用户,对于你选择的时间范围内,如果浏览过某个或者购买过某商品,则标记为1(当然根据实际需要,可以根据次数标记为N),当然也可以是对商品的评分。


协同过滤的推荐机制又分为基于物品的推荐机制和基于用户的推荐机制。基于用户的推荐:假设相同的用户一定有相同的偏好,怎么确定其是同类用户类,你可以根据这二个用户的购买的商品类型或者对不同商品的打分来计算。

基于物品的推荐:假设喜欢某个商品的用户,一定也同样喜欢同样类型的商品,怎么选择这个同类型的商品,通过不同用户对其的打分或者评价或者购买来计算。

计算相似的方法,主要包括:余弦相似性、相关相似性。余弦相似性通过计算矢量间的余弦夹角度量。相关相似性通过计算Pearson相关系数、秩相关系数等度量。

关联规则,相当知道啤酒与尿布的同学都不陌生,电商的推荐系统也是根据后台的消费数据,看是否存在商品在购买过程中会同时购买的情形,从而推荐给用户,目前电商中的组合推荐大多属于这种类型。

除了上面介绍的常见的推荐算法外,每年都会涌现出许多新的推荐算法,一个推荐算法的好坏可能因为目的不同而不同,对应不同的数据集时表现的效果也不一样,例如基于用户的协同过滤散发在用户数量远远大于产品数量的系统上或许表现不错,但在用户行为数据较少的情况下就不适用了,通常,并没有一种算法能“通吃”天下,更多是采用多种算法的结合使用。


此外,推荐物品是否合适?并不是人人都是喜欢京东式的茅台等高端酒和女性内裤的组合,过多的推荐会不会泄露部分用户隐私?这些都是一个好的推荐系统需要考虑的问题。


电商网站推荐的下一站——个性化


亚马逊总裁杰夫·贝佐斯曾说过这样一句话:“如果我的网站有一百万个顾客,我就应该有一百万个商店”。这或许就是推荐的极致,而这样一个系统必定是以用户为中心的,有记忆、进化功能的。个性化是一个永无止境的进程,它的效用可以被无穷放大。对于电商网站而言,如果推荐的页面上全是自己喜欢的物品,连Size、颜色、付款方式、物流等细节都给处理好了,或许就是对用户最好的“个性化”。


当网络成为我们自己的个人网络,就需要能够理解个性多变性的技术。也就是说既要整合直接信息,也要整合环境信息,如时间、地点、日程安排、习惯、参与度等。此时,关于个性化推荐系统的主要竞争点或许就如《个性化:商业的未来》一书中提到的一样,为了创造更好的购物体验,电商网站能不能更快速的挖掘消费者的偏好,此时考虑的不仅仅是准确性问题,更多的还在推荐速度上。




原文出处:亚马逊推荐系统机制的分析

—————————————————

数盟网站:www.dataunion.org

数盟微博:@数盟社区

数盟微信:DataScientistUnion

数盟【大数据群】272089418

数盟【数据可视化群】 179287077

数盟【数据分析群】 174306879 ,110875722

—————————————————

点击阅读原文,查看技术、资讯~