编辑导语：很多人都会有这样的经历，在淘宝刚搜了一个商品后，推荐里就会出现大部分类似的商品；或者你购买了一个商品后，会看见此商品配件的推荐；这就是推荐系统，推荐系统是如何进行评估？怎么评估才不会引起用户的不适？本文对此进行了详细的介绍，我们一起来看一下。

对于当下的互联网产品，无论是主流或非主流，处处都能看到推荐系统的应用场景。

比如，当你在淘宝下单购买了一台iPhone 11，购买完成页下方立刻就会给你推荐诸如「全新AirPods Pro」、「Apple Watch 5」等相关商品；再比如，当你在豆瓣上标记了想看热门悬疑网剧《隐秘的角落》，在厕所刷抖音的时候，可能就会看到《无证之罪》、《轮到你了》、《白夜追凶》等等相似剧集的精彩片段；推荐系统这只无形的「大手」已经把我们安排的明明白白了。

推荐系统的强大毋庸置疑，而且我们经常会把它看作是一个神秘的黑箱子，会将其与多种复杂的技术术语相关联，比如“大数据”、“人工智能”、“机器学习”等等，进而认为推荐系统的好坏，就是对用户偏好预测的精准与否；然而，不久前完成的一个研究课题，打破了这个认知误区。

一、推荐系统的本质

面对这个课题，首先需要回答的就是：如何定义推荐系统的好坏？

其实，这个问题有一种最符合直觉的答案，即越能精准预测用户需求的推荐系统就是好的；乍一看，这个答案几乎没什么问题，然而，精准预测只是一个好的推荐系统的必要条件。

那究竟什么才是「好」？要回答这个问题，我们需要先了解推荐系统的本质。

推荐系统（Recommend System）的研究由来已久，这一概念初次被提及，是在1990年哥伦比亚大学研究者Jussi Karlgren的著作中，直到1994年才成为一个相对独立的研究领域；虽然这一领域已经有30年的研究沉淀，但业内对推荐系统的定义仍未达成一致，不过密歇根大学的研究者Resnick和Varian在1997年提出了一个较为公认的定义：“推荐系统是利用电子商务网站向顾客提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程”。

以上这段描述反映了推荐系统最本质的三个问题：

• 如何精准的预测用户的需求？
• 如何全面细致地描述网站上的信息？
• 如何给用户推荐最适合的信息？

“预测用户”&“描述信息”主要是依赖技术团队的算法，而且业内在该方面的研究相对比较成熟。

目前常用的预测技术包括：基于内容的推荐、协同过滤推荐、基于知识的推荐、基于网络结构的推荐、组合推荐及其他推荐等等，由于技术难度较硬核，在此不做展开。

在确保预测精准及全面描述的基础上，便是“推荐”最合适的信息给用户了，但什么是最合适的？这个评判的标尺就拿捏在用户的手上。

二、推荐系统的评估维度

接下来就是关于如何评估推荐系统的好坏，业内普遍认为，推荐系统的评估涉及两大范畴的维度：准确度（Accuracy）和可用性（Usefulness）。

其中，准确度表示推荐系统预测用户行为的能力，主要根据离线实验的方式来评估；可用性更多反映的是用户的主观体验，常见的评估指标包括多样性（Diversity）、新颖性（Novelty）、惊喜度（Serendipity）、信任度（Trust）及实时性（Utility）等。

1. 多样性（Diversity）

多样性是指每条推荐信息的两两不相似程度，如果推荐结果过于单一，势必会让用户失去不断浏览的兴趣；而单纯的增加多样性并不算难，挑战主要在于如何增加推荐信息多样化的同时，又可以保证结果符合用户的「口味」。

2. 新颖性（Novelty）

新颖性是指推荐结果中出现的用户以往没看到的信息，提升新颖性最常用的办法是根据平均流行度来推荐，把流行度较低的信息提供给用户，会增加其新颖性感知。

但是，一味提升新颖性也未必会增加用户满意度，同样需要在确保精准性的前提下进行。

3. 惊喜度（Serendipity）

之所以会把惊喜度作为一个指标，纳入推荐系统评估的体系中，是为了衡量推荐系统解决如下问题的能力：用户面对之前他们已经遇到的推荐结果，他们变得越来越厌烦，推荐系统需要提供让用户感到既新奇又有吸引力的信息。

「惊喜」与「新颖」在中文语境中有些相似，但在此处并不相同，笔者通过以下示例来做说明。

比如，你平时会用网易云音乐来听歌，比较喜欢周杰伦、林俊杰这类R&B歌手，几乎听遍了他们专辑中的所有歌曲；如果系统给你推荐了《夏天的风》这首歌，而且你之前没听过，但是当你看了这首歌的封面，发现是周杰伦创作的，充其量也就会感觉还比较新颖，但未必会有惊喜的感觉；如果系统给你推荐了一首从创作、演唱到曲风完全不同于以往听过的R&B的歌曲，但你听完之后发现很喜欢，那这时候你就不只觉得新颖，更会有一种惊喜的感觉。

4. 信任度（Trust）

信任度也是衡量推荐系统好坏的重要维度，顾名思义——信任度指的就是用户对推荐系统的信任程度；信任度高的推荐系统更易引导用户产生交互行为，影响信任度的不只包括推荐的内容，也包括推荐的样式。

目前提升信任度的方式主要包括增加推荐系统的可解释性（Explanation，即推荐理由），或者引入社交网络信息（熟人推荐易提升信任度）。

微信「看一看」展示的部分信息，即外露了社交关系相关的推荐理由。

5. 实时性（Utility）

该指标主要指——当用户与推荐系统发生交互行为后，推荐信息列表是否及时的发生变化；如果用户产生若干信息检索行为后，系统推荐的信息依然不变，显然该推荐系统未能实时学习用户的需求偏好；尤其对于信息具有较强时效性的产品，该指标显得更为重要，比如新闻资讯类、部分生活服务类平台。

三、推荐系统评估案例

下面就以笔者近期接到的一个需求为例，说明推荐系统体验评估的操作方法。

1. 需求背景

58同城平台上，提供了包括招聘、房产、二手车、本地服务等多种生活服务类信息，每类信息都有相应的个性化推荐系统，虽然推荐系统在不断优化，但更多的是针对算法层面的提升，而推荐系统在用户主观体验方面的研究尚属空白，因此需要通过专项调研了解推荐系统现状及优化方向。

2. 评估方法选择

在做推荐系统评估时，以往多会采用一种叫做“Case by Case”的方式，即让用户针对推荐结果逐条进行“Yes or No”的评价，这种评估方式的优点是：评估是实时性的，指向明确，颗粒度较细；但缺点也很明显，样本选择不具有代表性，缺乏统计学意义，而且评价过于简单，仅能反应用户主观准确性。因此，为了能使评估结果有更好的代表性，包括更全面的评估维度，我们选择采用定量问卷的方式。

3. 评估业务选择

在正式开始实施评估前，还需要明确一个问题：是针对58全业务进行评估，还是针对不同业务线分别评估？由于58各业务独立性较强，且用户多会进入对应业务的专属频道进行查找，因此，我们与需求方沟通后，决定针对不同业务线单独评估，并且决定先以租房业务线为试点进行，跑通后再复用至其他业务线。

4. 评估场景选择

即使仅针对单一业务线来进行评估，推荐系统的落地场景仍不止一处，如何选择具体的评估场景，可以依据该场景的曝光量及用户状态来选择，针对58租房业务线，推荐系统主要会在App首页Feed流、租房频道首页Feed流、信息列表页及房源详情页底部推荐4处呈现给用户，但首页Feed流中会混杂其他业务信息，较难仅针对租房进行评估，进入信息列表页的用户多属目的性较强的用户，并非推荐系统目标用户，因此，本次需要评估的页面场景确定为租房频道首页Feed流（如下图）。

58租房推荐评估入口，选择了以Banner的方式常驻于租房首页Feed中。

5. 评估结果

通过以上评估方案，我们可以获取到不同时间段内，不同用户对租房推荐系统在精准性、多样性、新颖性、惊喜度、信任度以及实时性方面的主观满意度数据；利用这些原始数据，我们建立一套推荐系统体验监测日更报表（如下图），可以在BI看板中实时浏览，便于相关方及时了解当前推荐系统的短板及异常情况。

此外，当数值出现异常时，还可以抽取出低分用户进行专项调研，挖掘用户体验不佳的原因，从而及时反馈给推荐团队进行优化。

以上仅列出部分BI看板数据指标

四、反思

通过本次调研，虽然迈出了推荐系统体验评估的第一步，但依然存在不足之处：

1. 评估颗粒度较粗

本次评估是针对推荐系统整体条目来进行的，虽然在评估维度上划分了若干子维度，但由于推荐信息展示规则的复杂性，很难定位出具体哪些条目存在问题；即使量化了用户的主观感受，也是一种笼统性的诊断，对于较明显的缺陷（例如缺乏推荐理由）尚可探查，但对于涉及算法层面的调优，指导意义则相对较弱。

2. 用户回忆门槛高

用户在填答评估问卷时，需要回忆推荐列表中曾经出现过的信息条目；但不同用户的浏览习惯差异较大，有些用户会逐条仔细浏览，有些用户会跳跃式的浏览——这种干扰因素较难在线上进行控制，结果是用户填答问卷时，可能会出现对之前浏览过的信息无法回忆的情况，进而会影响到最终的评估结果。

针对该问题，可考虑选择实时性更高的填答方式，例如，在用户进入评估页面后，为用户实时呈现真实算法展示的信息条目，也可以确保用户会逐条阅读推荐信息并进行评估。

进入淘宝首页推荐系统调研页面后，用户会进入一个评估问卷中，但评估的条目会根据用户的喜好来个性化呈现，用户直接针对不同条目进行评估即可，无需回忆。

以上便是笔者近期关于推荐系统评估的若干实践与反思，希望能给对该主题感兴趣的朋友们带来一些启发。

参考文献：

[1] 王国霞，刘贺平，个性化推荐系统综述[J]，计算机工程与应用，2012，48(7):66-76.

[2] Paul Resnick, Hal R. Varian. Recommender Systems[J]. Communications of the ACM, 1997,40(3): 56-58.

[3] 项亮， 推荐系统实践[M]. 北京：人民邮电出版社, 2012.

作者：王泉桥，用户研究员

本文来源于人人都是产品经理合作媒体@58用户体验设计中心（微信公众号@58UXD），作者@王泉桥

题图来自Unsplash，基于CC0协议