引子

为了能够更快速地收集用户对淘宝服务、工具等产品的反馈意见，及时了解用户的需求，今年初，我们陆续在淘宝重要产品页面挂出了各自的用户反馈问卷，希望能够广泛倾听用户心声，实时做出改进，不断提升各产品的使用体验。其实这种方法，已经普遍应用于各类网站。

经过不断摸索，反馈问卷的样式已经基本定型，主要有以下几个部分组成：

1）目前使用某产品过程中遇到的障碍——一般是半开放的选择题，能够快速掌握用户的使用痛点；

2）对该产品的意见和建议——更细致地了解用户的需求；

3）使用该产品的频率或次数，或该产品对经营店铺的重要程度等——根据不同产品特性选择适当题目，用于区分轻中重度用户，便于对问题进行分类，确定优先级；

4）对该产品的分项满意度，包括视觉和排版布局、操作流程、文案引导等；

5）使用该产品过程中的总体满意度。

由于卖家业务线服务/工具的特性和用途存在差异，使得各产品反馈入口的样式有所不同。样式不同，会不会对填答的效果有所影响呢？现以六个卖家服务/工具为例，对影响用户打开并完成反馈的因素进行量化分析。

确定影响因素

首先，选取的六个产品，涉及到卖家经营店铺的不同层面，都是比较重要的服务/工具，反馈入口的样式如下：

可见，这些产品反馈入口的位置、文案、外观等方面不尽相同，导致用户看到反馈入口的概率、理解反馈入口作用的概率都会不同，从而使得各产品最终完成问卷的概率同样有差异。可以从如下图例看出差异（数据已经去重）：

打开率（日）=打开人数（日）÷该产品UV（日），打开率在一定程度上能够反映反馈入口位置、外观、文案引导等因素的明显性，卖家容易看到容易点击。

有效率（日）=完成人数（日）÷打开人数（日），有效率在一定程度上能够反映了反馈入口文案引导的明确性，卖家知道来到这里就是针对这个产品提意见，而非其他内容或其他产品意见的收集。

促销管理的三个工具（满就送、限时打折、搭配套餐）虽然用户群体不尽相同，使用频率也不同，但它们的反馈入口都处于设置流程的终点，且文案明确，日均打开率、有效率都普遍较高；

软件订购反馈入口采用了左侧浮动条的方式，但只存在于软件订购的首页，点击了某个应用，浮动条就消失了；且文案也不太明确，所以打开率不高，有效率较低；

旺铺的反馈入口很有设计感，做成banner与页面融为一体，但处于操作流程之前，文案引导同样不直观，导致打开率和有效率都不高；

站内信的反馈入口位于页面中上方，处在操作流程之中，点击了下方的某个应用，入口还在，但点击了具体的信件，入口就没了；文案引导虽然明确，但与其他文字信息混排在一起，使得打开率不高，有效率稍高。

完成比例（日）=完成人数（日）÷该产品UV（日），综合了前两个指标，考察了最终的有效填答。

综上所诉，反馈入口的位置明显程度、文案明确程度对有效完成反馈问卷起到较大影响作用。促销管理的三个工具呈现的结果，很明显地说明了这个问题。

另外，随着反馈入口挂出时间的自然增长，衡量效果的三个指标都存在明显差异，挂出时间也是一个影响因素。再根据经验判断，各群体用户对产品的满意度也会对反馈的意愿有所影响。

影响因素的操作化

根据上节分析，反馈入口的位置明显程度和文案明确程度可以细分出五个小指标：在页面处于什么位置、处于操作流程的哪个阶段、外观是否经过设计、文案是否直白、文案排版是否独立。六个产品在五个小指标的情况如下：

为了把这些变量操作化，需要对各指标的不同情况赋值，如处于操作流程结束后为3，操作中为2，操作前为1。

加上挂出时间、产品的分项满意度（排版布局合理、操作便捷、文案表述清晰）、总体满意度等，一共10个影响因素。

先用这10个影响因素对样本做聚类分析，两步聚类的结果显示分成三群的统计效果很好。从各群与六个产品的交叉表来看，促销管理的三个工具、软件订购和旺铺、站内信各为一群，且拟合效果达到100%，也与实际情况相当。表明10个影响因素比较适合用于评估产品。也可判断，五个与位置和文案相关的小指标赋值比较合理。

相关分析

将打开率、有效率、完成比例与10个影响因素做相关分析，结果如下：

与打开率相关性最高的影响因素是操作流程，正相关；其次是产品排版布局的满意度，负相关；内容独立，正相关。即越处于操作流程结束后、对产品排版布局的合理性越不满意、入口文案的排版越独立，反馈问卷的打开率越高。

与有效率相关性最高的影响因素也是操作流程，正相关；其次是文案直白，正相关。

与完成比例相关性最高的影响因素也是操作流程，正相关；其次是产品排版布局的满意度，负相关；产品操作便捷的满意度，负相关；文案直白，正相关。

由此可见，反馈入口处于操作流程的哪个阶段对三个指标的影响都很明显，文案直白对最终的有效完成影响较大。

相关分析的局限在于相关系数是一对一的结果，没有考察到多个影响因素共同作用下，不同因素的相对重要性如何。下半部分博文将作深入讨论。

*本研究如果要做得更完善，至少需要做两个补充：1、加入卖家的星级、销售状况、店铺规模等背景信息，但为了其他类型网站也能够借鉴本研究，暂时未引入这些淘宝特有的影响因素。2、同时也需要引入更多产品，本例只是用了6个产品，主要是作为研究思路的介绍和结论的探讨。

相对重要性分析

完成比例是反馈收集中最重要的指标，我们先采用多元回归的方法考察10个影响因素共同作用下，对完成比例差异的解释，从而推测10个影响因素的相对重要性。

从本文上本部分中的相关分析中，可知10个影响因素之间普遍显著相关，会导致回归方程存在多重共线性，使得偏回归系数可能不准确、难以评估影响因素之间的相对重要性。因此，先采用逐步回归的方法，查看结果：

校正后的R平方（决定系数）为0.446，对于社会科学而言已经比较理想；剩余标准差为0.00053，已经非常小了；Durbin-Watson的值为0.638，与2有差距，残差间的独立性一般。综合评估，回归模型的拟合程度较好。

在这个多元回归模型中，综合考虑标准化回归系数（Beta）和偏相关系数（Partial），相对而言，操作流程对完成比例的重要性最强，正向；其次是外观设计（正）、操作便捷满意度（负）、挂出天数（负）和页面位置（负）。其中外观设计的影响方向与相关分析中相反，主要是由于多个影响因素共同作用，存在共线性造成的。

另外，操作流程的容忍度（Tolerance）虽然大于0.1但不到0.2，多重共线性比较严重。

为了消除回归模型中的多重共线性，先对10个影响因素做因子分析，再用因子进行回归。

提取影响因素公因子

利用方差最大正交旋转（Varimax），最终萃取出五个公因子，依次为入口模糊、分项满意度、内容独立、挂出天数、总体满意度等，累积方差贡献率为92.854%（详见下表），解释效果很强。

其中文案不直白、处于操作流程之前，用于解释因子“入口模糊”容易理解，但外观经过设计解释“入口模糊”，是例子中的旺铺反馈入口经过设计后，banner与页面融为一体，反而不容易联想到反馈；位置靠上本来容易被发现，但此时还没有作相应的操作，反馈的冲动较弱，能够解释“入口模糊”。

影响因素公因子的相对重要性

用五个公因子进行多元回归，已经去除了自变量的多重共线性，结果如下：

校正后的R平方（决定系数）为0.431，剩余标准差为0.00054， Durbin-Watson的值为0.595，表明回归模型的拟合程度较好。

相对而言，入口模糊的重要性最强，负向；其次是分项满意度，负向；之后是挂出天数（负）、内容独立（正）。且入口越清晰、分项满意度越低、挂出天数越近、文案内容越独立，完成比例越高。

对比五个因子对完成比例、打开率、有效率的影响，相对重要性排序存在差异。内容独立、分项满意度对打开率的相对重要性最强；入口模糊对有效率的相对重要性最强；而完成比例的影响因素相对重要性综合了打开率、有效率的，这一点由三者的计算公式也可判断，完成比例=打开率*有效率。

来源：http://ued.taobao.com/blog/2010/10/23/feedback_effect_factor_part2/