本文将以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。enjoy~

做产品的人，通常要问自己这些问题：

• “我们这款现在口碑如何？”
• “这个功能，用户使用起来满意度怎么样？”
• “这一次更新，体验有提升吗”
• “和竞品A比，我们有优缺点是什么”
• ……

所谓“知己知彼”，我们通常更轻易“知彼”（了解竞品），因为有市场的检验、用户的口碑，还有自己切身操作体验。然而对于“知己”，则不那么确定了，一来因为主观的“先入为主、身在其中”常常让我们盲目，二来是我们常常没有一个可靠的评估系统。

评估、反馈对于产品的进化非常重要。但我们平常往往是这样做的：

“这次改版之后，用户说了什么？有不好的声音吗？”

“用户又降了，这版做的不够好吗？”

“看下用户对这次优化的总体评分怎样？”

以上信息，本质上的都是反馈，但是信息杂乱、模糊，我们无法从中得到对于产品各个侧面用户精确的满意度。

我们需要一个稳定、全面、客观的评估工具。

• 稳定：采用统一指标、统一度量，能够重复测量使用；
• 全面：所设指标包含用户和这个功能（系统）接触的所有信息面，无遗漏；
• 客观：要求测量指标全面、严谨，对于不同样本施测能得到稳定一致的结果。

以下，我们以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。

STEP 1 指标收集

交易系统的指标包括那些内容？速度流畅、还是内容丰富？这些都是未知。这第一步非常重要，因为这是所有工作的基石。所以需要尽可能全面收集信息，绝不能出现显而易见的遗漏。我们的指标内容收集主要来自：

• 9名内部专家用户访谈
• 用户问卷信息收集（343人次）
• 客户端后台反馈
• 用研已有研究积淀和舆情积淀

访谈时候需要设立一个可以主题，让受访者可以围绕这个主题充分表达出交易系统所包含的内容。

我们的访谈主题是：

1. 目前同花顺的交易（含PC和手机）,您认为优缺点各是什么呢？
2. 您觉得交易这个模块，未来的规划和发展方向应该是什么？

STEP 2 指标拆分

针对以上两个主题，专家和用户同一角度给出建议（诉求），所得内容，需要做语义拆分。语义拆分是一个集合经验和直觉的过程，当然也有一些方法论可以借鉴，但最重要的还是要做数据的人要熟悉产品和项目，最后出来的结果再反馈给专家把关，基本上都能正确。

根据内容我们将交易系统的评价维度归纳为以下几个大类：

• 性能问题
• 可用性问题
• 功能问题
• 内容方面

图示：部分关键信息归纳（仅示部分）

同时，根据内容再细分指标。在一级指标下再分二级指标（15个）：

STEP 3 指标定义

对二级指标赋予明确定义。这一步既是对各个细分指标的解释说明，也是为了后一步的指标测量做准备。

STEP 4 指标测量

根据上一步明确的指标定义，直接对目标用户实测。15个二级指标都需要真实用户评分，化为15道实测题目，用户在充分理解指标含义之后，作出评分。

题目的格式参考如下：

如：“安全：交易的安全，是指交易和资金安全有保障。——您觉得同花顺手机交易做得如何？”（评分：0-100，非常不满意——非常满意）

通过线上问卷形式实测，回收1434个数据。

STEP 5 指标统计

清理掉失真的数据，得可用数据904个（这里主要是删掉作答时间少于最低测试时间的数据）。主要分析方法：因子分析（二级指标&一级指标； 一级指标&总体满意度）

注意：因为因子分析原理是靠提取少量分子来描述多个原始变量，而我们此处无需削少因子数目，所以在Extract环节提取因子数目应和原始变量数目相同，比如“功能”下面有5个二级指标，提取因子数应是“5”。

各个指标对上一级的权重（贡献力）计算如下：

STEP 6 评估模型

经过上述计算，我们可得初步评估模型如下图：

从这个系数图谱，我我们可以清晰看到，对交易总体满意度敏感的因素是“功能”，而对“功能”指标影响大是“创新性”和“区分度”。从整理来说，速度、流畅、以及内容方面，的确是目前我们交易系统的短板，也从数据上得到了体现。总结起来，评估模型能直观告诉设计者2个问题：

1. 目前的系统优缺点是？ （知道优缺点，能够在产品方向上有的放矢）
2. 影响用户满意度最重要的因素是？  （根据权重找出改进的优先点，才能抢占用户口碑）

当然，这只是第一次评估，所有的评估都要有对比才有意义。评估模型还需要继续进行2-3轮的迭代验证，并跟随未来交易系统的功能调整而逐渐调整，它不是一个静态的工具。

作者：大狗狗，互联网金融产品用户研究员，心理学二年级学渣，公众号：同花顺UED（公众号：Mob-HitThink-UED）

本文由 @大狗狗 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自 Pixabay，基于 CC0 协议