本文来自微信公众号 ”WEMO Design“,作者:小高 ,纷传经授权发布。
关于体验度量这个词,很多设计师既熟悉又陌生,特别是B端的产品,业务复杂且逻辑概念多,怎么建设产品体验度量更是特别棘手。本文将从什么是体验度量入手,分析市面上常见的度量模型,再结合实际场景案例,带你玩转B端产品体验度量。
01
什么是用户体验度量
1. 什么是用户体验度量
解释用户体验度量前,我们先思考一个大家都习以为常的概念,什么是用户体验,这个词既简单又抽象,Wikipedia有一个定义:用户体验就是从用户接触这个产品开始,到使用结束后的全部感受,包括认知印象、用户行为、情感喜好和心理反应等全部的综合感受。再说说度量,它是一种数学概念,针对事物赋予一个数字概念,观察的人可以基于数字进行比较。
所以用户体验度量就是将用户的综合感受,通过一种可测量的数字化手段得出数据结果,再基于这些结果检验用户体验是否合格或者达到目标。
举个例子,大家每年看各大厂商手机发布会,其中有一个重要的环节,怎么证明自家的手机使用体验更好呢?就可以通过制定的标准化数据指标进行比较,得出比友商手机使用体验更好。
2. 为什么需要体验度量
管理学之父德鲁克有一句名言:If you can’t measure it, you can’t manage it,翻译过来就是:如果你不能够测量,那么也就没法很好地控制,也就是我们常说的无度量,无管理。
用户体验设计也是一样,如果我们不能将最终的结果进行量化,那么也便无法衡量和管控。我们可以试着想象一下,在实际工作中,还是在汇报都会面临老板这么一个灵魂拷问:你的这个设计具体给用户带来多大的价值?
如果我们没有可靠的体验数据说话,难免让对方质疑我们的设计。特别是一些由设计团队驱动的大型项目,没有可靠的体验度量数据,就很难谈设计改版的价值。
所以体验度量不仅能够帮助产品落地,让设计在团队协作中落地更加顺畅,也可以让最终的体验价值可衡量。所以有了体验度量数据,它也能够为设计或者管理者带来有效的决策辅助,以获得可衡量的商业价值。
02
常见的体验度量模型
我们基于B端产品的特性,以及能够从设计侧发力的体验点出发,对市面上大量的度量模型进行研究分析,发现Google的 HEART + GSM 模型和阿里巴巴旗下 PETCH 模型和 UES 模型,比较符合B端业务的体验目标。在此过程中,我们规避了以下两个度量目标:
以收益增长为主要的度量体系。大多数场景下的B端产品,为企业自研或者服务商提供的标准化产品,这些都需要强大的售前和销售团队,所以产品体验和客户的初次付费意愿关联性是非常弱的一个指标。
以直接客户增长的度量体系。理由同上,这主要还是因为B端产品的特性,设计团队不能够直接提升GMV,所以一些常见的,比如AARRR等增长模型,不在我们的考虑范围之内。
1. HEART + GSM 模型(Google)
HEART 模型是 Google公司于2010年发表,也是当前推广范围最广的度量模型,它是一套以用户为中心、衡量用户体验质量最重要度量体系之一。
为了帮助HEART 体系度量模型落地,该设计团队还提出了GSM 设计方法论,遵从目标→信号→指标的过程,使用方法类似OKR(目标与关键成果法),通过以结果为导向来定义数据指标,让抽象化的 HEART 模型变得更加具体,以更好实现对关键目标的体验衡量。
2. PETCH 模型(支付宝)
PTECH 模型是支付宝团队基于 HEART 模型构建的,它更加关注用户效率和行为分析,这是一套更加适用于B端的企业级产品度量模型。
3. UES模型+易用性量表(阿里云)
UES(User Experience System) 模型是阿里云设计团队经过多年实践,沉淀的一套以易用性量表为主要指标的度量系统,其中指标包括易用性、一致性、满意度、任务效率和页面性能 5 个体验度量指标。
作者认为,在众多度量模型中,它是针对B端的标准化或自研产品,落地应用最高的体验度量模型之一,所以可以将它作为一个重要的B端体验度量参考模型。
UES 除了提供的度量模型及方法论外,针对其中最重要的易用性度量维度指标,还提供了一套主观的「易用性度量量表」问卷。这是一套基于CSUQ(系统可用性问卷)、QUIS(用户界面满意问卷)、SUS(系统可用性量表)等量表进行综合研究分析后,从易操作性、易学性和易见性3个体验维度,最终定的一套 12 道题的用户易用性问卷。
4. 小结
除上述提到的一些体验度量模型外,我们还对比了市面上一些其他度量体系,最终发现满意度、效率和性能这 3 个体验指标在B端产品的重叠度非常高,所以我们在建设体验模型时,需要将它们作为重要的指标维度。
满意度:客户满意度是一切的根本,它是产品较为综合的指标,所以在产品设计中需要通过各种手段,来提升客户的满意度。
效率:因其B产品的特性降本增效,帮助企业解决业务问题和管理公司业务或人员,所以提升产品的使用效率是一个重要的指标。
性能:和 B 端产品的特性有关,B 端产品注重工作效率,生产力的前提是系统可靠性,需要降低页面的响应时间提高作业效率,不过这个体验指标更加侧重技术侧来提升。
03
3个重要的用户主观性指标
以上度量模型的各个维度指标中,既有客观层面的,也有用户主观层面的。针对客观层面的指标,我们可以根据制定好的数据埋点进行测算,如果是用户主观性层面的体验指标,目前使用最多的分别是 CES(客户费力度)、CSAT(客户满意度)和 NPS(净推荐值)。
1. CES(客户费力度)
CES 于2010年《哈佛商业评论》被提出,意思是客户完成任务的难易程度。广义上来说它也算是CSAT(客户满意度)的一种,只不过它的衡量维度更具体、颗粒度更细,主要是衡量客户使用产品的容易程度。
2. CSAT(客户满意度)
经典的“万金油”体验衡量指标,不管是哪个行业都可以适用,主要是衡量用户对产品使用后整体的满意度,它的好处是简单场景通用性强。该问卷回答一般包含 5 个或者 7 选项,在实际运用中,我们一般针对产品试用期结束后,或者已付费的客户,发放 CSAT 问卷调查。
市面上常见的客户满意度问卷分类类型非常多,涉及到B端互联网产品的 CSAT 可以分为两大类。
整体评估问卷:用户完成一系列任务后,对整个产品或者整个系统所作出的感知测量。常见的问卷有 SUS、QUIS、CSUQ、PSSUQ等,上述提到的阿里云易用性量表,也是基于这些问卷提炼而成。
任务评估问卷:用户每完成一个任务后,所要作出的感知测量,相较于「整体评估问卷」,任务问卷颗粒度更小,一般用于产品开发前用户测试,常见的问卷有 ASQ、ER、SEQ、SMEQ等。
所有的这些整体问卷评估和任务评估问卷,在用户心理测量都具有较高的可信度,下面着重解读 SUS和PSSUQ 这两个知名度较高的问卷量表,有兴趣的伙伴可以看一看《用户体验度量:量化用户体验的统计学方法》,里面有更为详细的测算方法。
2.1 SUS(系统可用性量表)
于20世纪80年代编制而成,最初有 50 道题目,到后来逐渐迭代到现在的 10 道题目,挑选的过程也是测试了大量用户,评估维度有两个:可用性(1-8题)和可学习性(9-10题)。
2.2 PSSUQ(整体评估可用性问卷)
于 1992 年 IBM 公司推出,前后共迭代了 3 个版本,最后得到了 16 道题目。一套适用于大型软件系统或大型网站的客户满意度问卷。评估维度有3个:系统质量(1-6题)、信息质量(7-12题)和界面质量(13-16题)。
3. NPS(净推荐值)
NPS 问卷调研比较简单,用户只需要回答一个问题,是否愿意将使用的产品推荐给身边的人。用户根据提供的问卷从0至10分之间打分。对比 CSAT,该指标更简单,它是综合反映客户对产品的忠诚和购买意愿,也能反映产品在未来一段的发展趋势和盈利能力。
不推荐(0-6分):这类客户对提供的产品服务不满意,这个时候我们需要询问客户哪方面让他不满意。
被动者(7-8分):这类客户对产品不太关心,且忠诚度不高,并且很有可能在找同类竞品,所以在问卷中我们可以这么问:我们需要做些什么会让你喜欢?
推荐者(9-10分):这类客户整体满意度极高,并且大概率会向身边的推荐我们的产品服务。这个时候我们的问题可以是:你喜欢产品的哪一点?
4. 小结
从 CES→CSAT→NPS,是有一个用户预期的循序渐进的关系在里面。CES 关注的是基础体验,也就是产品的简单易用,当用户觉得产品好用易用才会对产品满意(CSAT),继而才会将产品推荐给身边的人(NPS)。
CES 衡量用户使用产品的轻松程度,是一个较细颗粒的体验指标。
CSAT 衡量的是产品是否符合用户期望,是用户对产品使用后的整体满意态度。
NPS 是一个综合性的体验指标,衡量客户与产品的整体关系,包括产品使用、服务、价格和品牌等。
综合来说 CES 、CSAT 和 NPS是监控用户体验的非常有用的工具。如果从推荐一个工具开始研究使用,我们可以先从 CES 指标开始,因为它是直接关联产品是否好用、易用的指标,上文提到的 UES 模型(阿里巴巴)易用性度量问卷就是 CES 的一种。
而我们常提到的 NPS,很难直接去提升它,更多时候是把它作为满意度调研的一部分,通过提升各环节的 CSAT,再达到提升企业整体的 NPS 目标。
04
案例:SCRM产品体验度量模型探索
以上分析了一些常见的体验度量模型,和 3 个重要的用户主观性体验指标,我们也试着从产品业务的属性出发,初步搭建一套 SCRM(私域客户营销系统)产品的体验度量模型,整个过程分为如下四个步骤:
1. 制定度量目标
我们基于产品的商家型平台属性(另外两个是通用型和中台后型),和 SCRM 产品的私域营销平台特性,再结合体验的度量标准(可测量、可量化和可持续),将“有用”和“好用”这两个指标作为我们现阶段的产品体验度量目标。
有用:分成“有”和“用”两个维度。“有”主要考虑当前产品阶段,正在从雏形走向成熟,所以功能的完整性对于我们至关重要。而“用”是指客户是否有真正去使用,作为一家SaaS服务提供商,如果我们提供的功能用户没有在使用,或者使用率极低,那么将会严重影响后期客户的续费率。
好用:从易用性出发,用户能够正常使用完成营销工作任务需要,并且使用后的态度是满意的。
2. 选择度量模型
通过上述列举的体验度量模型分析发现,所有的指标都可以归纳为从客观到主观,分别是系统表现、用户行为和用户态度这三类,最终发现发现 UES 度量模型和 CES 用户主观性指标,更为贴近当前 SCRM 产品阶段度量的目标。
UES 度量模型各项体验指标,符合我们当前产品业务阶段的诉求。
CES 指标更加符合易用性体验目标,较为容易测量和量化,也更加容易发现体验问题,以便可持续指导和改进体验问题。
3. 明确度量指标
基于制定的度量目标,和选择到贴切业务的度量模型后,开始分析现有产品的情况。将度量目标“有用”和“好用”分别拆解成:
完整性。产品正在从雏形走向成熟,且市面竞品较多,我们还处于追赶的地位,所以首先保证功能的完整性至关重要。
参与度。作为一家SaaS服务商,帮助商家成功是我们的使命,所以需要清楚知道客户是否有在持续使用产品。
任务效率。使用效率是一直都是 B 端产品重要的体验目标,需要清楚用户能够高效准确地完成任务。
易用性。需要知道产品对于各个角色而言,产品的核心功能模块是否易于学习和使用。
用户满意度。用户的主观整体感受,需要知道客户对整个产品是否满意。
4. 选取度量方法
这一步主要思考通过选取哪些方法或手段,能够量化这些度量的具体指标。结合 SCRM 产品的业务特点和 UES 模型研究分析后,梳理出了整体的度量框架如下。并针对其中的一些重要的具体指标,如完整性、参与度、自助完成率和易用性度量度量手段作详细说明。
4.1 完整性(功能覆盖率)
通过竞品调研和产品专家走查,拆分各个模块直至最细节,再通过对照表整体作分析对比。这一步是非常重要,需要体验团队和产品、业务和运营团队一起参与,针对现有以及未来要做的功能模块作调研分析。
4.2 参与度(功能有效性)
参与度就是通过监测用户是否有在使用产品的功能。企微助手的角色主要有超级管理员、运营人员和销售为导向的员工,通过后台监测对各个人群角色核心功能模块的使用率,再通过加权平均值,计算整个产品的使用率。
对核心功能模块设定目标,比如以某个月为监测目标,核心功能必须使用率达到设定目标值才算完成,当然这个值不是固定的,需要根据产品的特性、时间维度,比如有些营销类的裂变功能模块,在活动的旺季使用率就会很高,所以目标值需要基于不同的业务场景作变化。
4.3 任务效率(自助完成率)
任务效率主要是监测「自助完成率」和「任务完成时间」,这里主要说说「自助完成率」这个指标,自助完成率可以从用户和子任务两个维度来评估任务完成率如何,做法是将一个完整的的任务拆分成多个子任务,然后再针对每一个子任务的关键节点位置作数据埋点。测算方法也较为简单,通过二进制的测量方法,计算任务成功或失败得到的采集数据。
比如下方表格通过横轴统计用户的自助完成率达到多少,竖轴则计算每个子任务的任务完成率,任务完成率这个指标能够更好的定位问题点,以便我们后期能够做好体验优化。
4.4 易用性(易用性度量)
易用性主要是基于各类用户角色,产品是否容易使用主观感受难易标准。SCRM 易用性量表以 UES 易用性量表为基础,通过 CES 的问答形式,结合 SCRM 产品的特性,再参考李克特五级量表进行赋值,当然这5个类别具体赋予多少分值,需要基于当前产品阶段以及目标来制定。
5. 小结
以上整个体验度量体系建设过程分为四个步骤,第一步结合产品特性和用户人群,制定当前产品阶段的体验目标;第二步分析市面已有的度量体系,找到最贴合当前产品的度量模型;第三步明确这些指标,尽可能将它们具体细化,使其可以度量;第四步,找到可以度量它们的手段或者工具,使其可以量化。
05
总结
以上就是从市面各类体验度量模型研究,到实践工作探索的一个梳理总结。度量模型只是一个工具,选择和使用时要以终为始,需要根据不同的业务阶段以及能够投入的资源情况,度量指标也要作相应调整,不要让工具它限制了我们的目标。
另外建设体验度量体系是一个非常复杂的综合性问题,没有统一标准的答案,只要我们能够找到适合产品或项目的度量手段,并且这些度量指标能够指导并提升产品的体验及管理,就都是有价值的。
参考
Jeff Sauro 《用户体验度量:量化用户体验的统计学方法》
2019 SEE CONF 蚂蚁金服体验科技大会
阿里出品!如何量化体验设计?
https://www.uisdc.com/experience-design-metrics
15种国际可用性测试经典量表
https://zhuanlan.zhihu.com/p/163054315
阿里出品UES度量模型
https://www.uisdc.com/ali-metric-model
用户体验度量经验分享
https://jelly.jd.com/article/606bacad6359bf0176a0b1b9
How to measure customer satisfaction KPI: NPS, CSAT, CES, & CLI
https://www.customer-alliance.com/en/resources/article/how-to-measure-customer-satisfaction-kpis-nps-csat-and-ces/