指标 业务 机制 秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。QMD 始于 2020 年第三季度，历时 4 个季度，支持了 10+业务线的体验优化。但随着业务的高速发展，原有机制已经无法满足业务现阶段发展的要求。为了更好地支持业务的变化，在 2022 年上半年，58UXD 体验管理 QMD 项目组发起了体验评估机制的迭代与实践。我们将通过干货满满的三篇连载文章，分别从「指标模型」「评估机制」「组织实践」来全方位的分享体验评估机制的升级经验，欢迎大家的持续关注和探讨。本篇为大家介绍：我们如何为不同业务设计贴合业务目标的、灵活易落地的体验评估的指标。其他量化模型：如何清晰量化设计价值？试试这个超实用的GSSM模型！编者按：本文通过实战案例，帮你掌握一个能量化设计价值的GSSM模型。阅读文章 > 一、QMD 是什么作为产品的业务方、设计师时常会陷入体验量化的困境：“不清楚产品在行业内的体验水平”、“无法量化设计师贡献的价值”。于是，团队在 2 年前首次推出了 QMD1.0 体验评估机制。一方面能帮助团队从全局的视角去观察用户和洞察业务，让产品持续地提升体验，另一方面在组织内部带来了提升设计品质的驱动机制和文化。QMD 的全称为：Quality Measure Driven。从其命名可以看出，这套机制分为三大部分：质量目标（Quality）：是让设计师从体验设计的品质目标入手，将本品、竞品作为评估对象，这样以来能够定位本品、竞品之间的「差异」；度量指标（Measure）：以基础体验指标为评估标准的度量体验，并借助内外部业务专家、设计专家的视角，对 58 同城各产品的重点场景进行评估设计的「品质」；驱动机制（Driven）：通过驱动机制，解决自身问题，驱动追齐竞品，帮助设计师了解如何「提升」评估结果。自 QMD 推出以来，帮助各个业务线提升体验水平、赶超竞品，持续为核心业务线带来体验价值。二、评估机制的问题为了更好地赋能业务，我们定期对业务方、设计师等不同角色的进行深度的访谈，得到了大量的反馈：产品会不重视输出的问题、体验问题优先级低、遇到分数的波动难解释、评估专家个体存在差异、结论的责任边界模糊...等等一系列问题。为此，我们发起了 QMD3.0 迭代项目。通过对收集的问题进行归类，我们可以概括为两类：问题难推动落地、评估结论信服度低。于是先试着从现有的测评体系查找分析“难落地”原因，而“信服度低”将通过第二篇文章详细阐述。旧版 QMD 为我们从“界面”“操作”“一致性”三个维度带来了 10 个评估指标，但其制定的核心依据是“体验设计”。回顾旧版 QMD 所推动的内容，其出发点还是以“用户体验”为中心。基于这个出发点，收集了大量的用户体验类的问题，然而缺乏对业务价值的考量，这些问题找不到带给业务的价值。另外在评估方式上我们选择采用设计专家的启发式评估，让专家代入用户真实使用体验，在测评范畴上也未对业务价值的高低进行筛选。这就不难看出，我们之前难落地的根本原因：现有指标体系不契合业务价值。所以，对于新版评估体系的指标的预期，首当其冲地要将「业务价值」纳入进来，以「用户体验」和「业务价值」交叉重合的部分作为评估的出发点。与之对应的，我们评估的范围，也需要调整为仅测量 “高价值”部分，这样以来，指标覆盖的范畴就能实现从“大而全”到“精细化”的转变。至此，我们也确定了评估指标的设计方向——高度契合业务的价值。三、指标模型的迭代要想设计契合业务价值的指标体系，第一步是找到现有指标模型和业务价值的偏差在哪里？我们通过对业务价值的拆解分析得到三大偏差点。针对偏差点逐一提出指标升级的方向：契合业务目标、契合体验诉求、契合优先级 。1. 契合业务目标体验评估指标的制定，行之有效的方法就是利用 GSM 模型，通过对业务目标的拆解，来推导出能解释目标的关键指标。回到设计师日常的设计思路，其实就是从业务的核心目标出发拆解，得到各个场景要达成什么样的设计目标，再拆分用户体验层面的目标有哪些。新版 QMD 也是如此，通过对核心业务目标拆解，各个场景的用户体验设计目标就是评估指标，换句话说：平时我们怎么设计的，QMD 就怎么去拆解评估。2. 评估指标契合另一方面，随着业务的不断发展，58 同城覆盖的业务类型也千差万别：创新型、平台型、业务型等多种业务方向类型。而不同业务又处于引入期、发展期、成熟期、衰退期等不同的产品生命周期。为了得到灵活、能够契合不同业务的指标体系，我们针对指标构成和指标描述也做了调整。首先是指标构成，以往 QMD 针对所有的业务采用固定的指标构成。可想而之，很难满足各类业务差异化诉求。而新版的指标构成在原固定指标的基础上，以自选基础指标和自定义指标的组合方式，更加灵活地适配不同的业务。如图，58 同城某高速发展中的业务，其对于体验的诉求存在差异，剔除了“美观度”“品牌”“共鸣”等指标，但是结合产品特性，增加了“真实性”（即，能感知平台所提供的职位信息及内容真实·可信·有保障）的自定义指标。其次是指标描述，同一基础指标，我们也会和业务设计师、产品经理，共同定义指标的描述。不同业务在可控的范围内可以进行不同的描述调整。如图，同样的“共鸣”指标，在 A 业务增加了：价值感相关的个性化描述，在 B 业务增加了：保障感、时效感相关的个性化描述。使指标释义贴近我们业务的具体情况。3. 评估优先级契合第三，为了满足业务不同场景的重要程度，我们为这套模型引入了指标权重的概念。首先根据对业务总指标的影响大小给业务场景赋予权重，然后再通过场景中各指标的重要程度来赋予权重，通过调整场景&指标的权重，就能得到适配各类型业务的灵活指标。4. 验证指标设计合理性反思过去的评估机制，通过「制定指标-实施评估-输出结论」，虽然也能够对产品进行评估，但是缺少了对于指标设计合理性的关注。为此在指标模型的设计中，我们也增加了防错的机制，通过观测优化效果，形成「确定指标-实施评估-观测效果-验证指标」的完整闭环，在实践的过程中反复调整，确保了指标设计的合理性。小结最后总结一下指标的设计过程：首先发现&分析问题，找到“难推动落地”的根本原因——指标设计不契合业务诉求。针对核心根本问题。我们从“评估目标”、“评估指标”、“指标优先级”三大方面入手，设计出契合业务目标的指标体系。最后还增加了指标设计的验证机制，来确保指标模型的合理性。至此，QMD3.0，关于指标模型的升级就告一段落。我们发现在构建指标模型的过程中，“没有最好，只有最适合”，所以一切的出发点就是以契合业务目标的前提下，找到最适合业务的指标，以持续稳定地评估产品体验，进而帮助业务的落地问题。而体验评估机制不仅是切实帮助业务提升体验的工具，更是我们设计团队立足体验管理的重要构成。未来我们也将继续秉承“用户第一”的价值观，持续为用户带来更好的产品使用体验。预告一下如果说建立科学、易落地的指标模型是 QMD 评估机制的根本，那么可靠、高效的评估机制则是推动 QMD 落地实践的重要前提。接下来王楠将带来《设计师必备体验评估设计指南（机制篇）》，为大家深度讲解如何建立人人可信赖的评估机制。欢迎关注「58UXD」的微信公众号：本篇来源：优设网原文地址：https://www.uisdc.com/qmd
评分 指标 测量 秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。在上一篇《设计师必备体验评估设计指南（指标篇）》中提到，目前 QMD 存在的两个难点，分别是：问题难推动落地、评估结论信服度低。针对目前难点，今年我们项目组对测评体系再次升级，推出了全新的 QMD3.0。设计师如何做好体验量化？收下大厂的QMD评测机制（指标篇）秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。阅读文章 > 我们将通过干货满满的三篇连载文章，分别从「指标模型」「评估机制」「组织实践」来全方位的分享体验评估机制的升级经验，欢迎大家的持续关注和探讨。本篇为大家介绍：围绕提高 QMD 主观评价的可信度，通过信度检验，管控测评流程，建立人人可信赖的测评机制。一、信服度低的原因想要建立人人可信赖的测评机制，需要我们解决目前“结论信服低”这一难点。在讨论结论信服度的问题，我们需要知道 QMD 到底属于什么类型的测评；按照测评变量的不同，我们可以讲测评分类两大类，主观性测量和客观性测量；举个例子，主观性测量类似简答、论述题，客观性测量类似单选、判断题；而 QMD 是邀请专家对特定业务场景，根据特定指标进行量化评估，其评分会因为其评分专家的主观判断影响，因此我们的 QMD 就是属于主观性测量。这就导致在评分过程中，因为评分者的知识结构（也就是对世界的认知、经验等）、判断水平（也就是对评分标准的认知和理解）、个人偏好（对设计风格、操作习惯偏好等）的不同，使评分者的评分存在差异。因此亟需通过某种技术手段，去控制测量误差，提高主观变量测量的精确性，而这一技术手段就是下文将要提到的评分者信度。二、检验信服度的手段1. 什么是信度在了解评分者信度之前，我们需要知道什么是信度。信度是指测量结果的一致性程度，亦称可靠性程度，它衡量的指标是：对同一对象测量得到的结果是否一致。举个例子，当你拿杆秤去测量 10 斤的西瓜，过一个月之后，再去测量一个 10 斤的西瓜，它还是 10 斤，说明这个秤就是可信的，这就是信度；而这个西瓜是 10 斤，测量出来也是 10 斤，说明这个秤是有效的，这就是效度。2. 什么是评分者信度而评分者信度就是信度的一部分，其实评分者信度是若干个评分者对同一组测试结果评分的一致性程度，他关注的是不同组间评分者之间的共同差异的分析指标，也就是说侧重处理评分者组间差异的一般趋势，主要目的是为了测量不同评分者对同一样本是否给出同一正确的分数指标，因此为检验 QMD 中各专家评分是否一致，选择了评分者信度作为分数的检验指标。测量评分者信度的统计指标及方法很多，那我们需要如何选择适合 QMD 的统计指标呢？在根据 QMD 不同的测量特点、数据类型、评分人数等，我们 QMD 选择的测量方式是组间相关系数（ICC），也就是通过方差分析来计算总体变异多大程度上属于总体的特征。3. 如何分析评分者信度选定测量方法后，具体怎么执行呢？就是万能的 SPSS 软件，按照：Analyze—Scale— Reliability Analysis 步骤得来，根据分析结果可以得知 ，本次分析的评分者评分信度是否一致，举个例子，在针对某个业务线进行QMD评估，对6位专家的评分进行评分者信度分析，结果表明，ICC=0.9704>0.75，p
业务 指标 机制 本篇将介绍如何有序组织体验评估，并将详细讲解本次 QMD 升级的要点、难点是如何落地执行的。上期回顾：设计师如何做好体验量化？收下大厂的QMD评测机制（机制篇)秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。阅读文章 > 我们选用质量管理工具 PDCA 来组织体验评估，做体验管理。以季度为评估周期，一个季度完成一次 PDCA 循环后，我们持续迭代评估体系，从而更好的完成下一个周期的体验评估。一、策划策划的主要内容就是大家很熟悉的 5W1H 了。1. 评估目标-Why如第一篇文章所述，新的体验评估机制，评估目标从单一的提升体验质量，调整成契合业务目标的体验质量。参与体验评估，业务设计师的预期有：提升产品使用体验；提升业务核心指标。QMD 项目组需要兼顾参与评估业务的预期，目标有：采用可靠的评估机制，度量契合业务目标的体验，发掘影响业务目标的体验问题，确保评估结果可信、可靠并易感知；确保按照规划周期性做体验评估、同步结论、跟进优化；验证各个参评业务的评估指标、评估机制的可靠性。2. 相关人员-Who想要按照以上预期高质量的完成体验评估，离不开组织架构的支持。58UXD 设立了由交互设计师和用研工程师组成的体验管理组。由体验管理组来组织全部业务的体验考核、体验评估、体验展示、体验跟进等一系列横向体验管理项目。QMD 作为体验管理的重要工具，由体验管理组中的 QMD 项目组来牵头策划完成。有同学对 58UXD 其他体验管理工具感兴趣的话，可以在评论区留言。明确了组织方及其职责，根据新的评估机制，还需要每个业务 6 名评估专家（2 名产品、2 名交互、2 名视觉）。QMD 项目组采取了参评业务产品、交互、视觉交叉互评的方式，由第二篇文章介绍的评分者信度保障结果的可靠性。在新的体验评估机制下，有很多 QMD 项目组和业务设计师需要沟通协作的节点。为了高效运行评估机制，QMD 项目组在各个参评业务都明确了一位 QMD 对接人。各个角色的职责明确如下：3. 评估业务-What新的体验评估机制对参评业务也有了新的要求。出于可行性和投入产出比的考虑，我们根据以下 4 点，深入了解各个业务的情况，做出研判，最终确定了参评业务。当前阶段业务对于体验的重视程度如何；业务是否有明确的、可持续监控的目标；业务迭代的频率如何；业务是否已达到一定用户规模。4. 时间规划-When如前所述，新的体验评估机制关键节点多，时间跨度长，需要周密的规划和严谨的时间管理。QMD 项目组是以季度为单位做周期性体验评估的，所以在季度初就会做好整个季度的规划，并严格执行。同时采用周报制来及时处理意外事件，保障项目准时完成。另外值得提一下评估场次时间的确定，除了视评估专家的时间安排外，也需要考虑线上测评的版本是否符合业务预期，晚几天可能就到了发版时间，是否需要评估最新版，需要综合情况和业务协商。同时也要求 QMD 项目组在规划之初，就要留好类似这种情况的 buffer。5. 评估地点-Where确定好评估时间，就可以提前约会议室了。然而我们在 2022 年的 Q2 和 Q4，遇到了两次因疫情大量同事远程办公的情况。如此我们需要保证线上评估或者部分同学线上评估的结果可靠性。原理如第二篇文章所述，需要保障人员可靠性、认知一致性，标准化实施方案。6. 怎么评估-How给到专家评估，我们需要至少准备评分工具和主观问题反馈工具。这些都需要以评估指标为基础，我们从第一篇文章了解到指标的制定原理后，各个业务的评估指标具体怎么确定呢？首先，调整基础指标：我们知道业务的评估指标由基础指标和自定义指标构成的，我们在制定指标前需要根据新的指标体系需要，重新审视原有的基础指标。我们认为一个良好的基础指标，应该是清晰、准确、普适、易懂的；我们邀请专家对这样的指标进行评估，应该是对体验设计有指导意义的。所以对基础指标做了如下调整：评估指标由原来的一级指标改为二级指标，颗粒度更细，聚焦到具体问题；相似指标合并，二级指标由 15 个合并成 10 个；增加动效、语义等方面的评估；评估指引描述方式更直白、易理解；等等。我们把基础指标给到业务，由业务设计师参考以下几个原则制定个性化指标体系。GSM 模型（Goal- Signal- Metric）：方法在第一篇文章中；反向思考：场景拆解到什么程度，可以结合业务的实际需要，由希望监控的颗粒度有迹可循：场景的设计目标，需要是可量化、可监控的，一方面可以追踪优化效果，另一方面可以反向验证指标制定的合理性；因地制宜：评估指标需要足够细化、贴合业务场景。比如基础指标中的“品牌”指标，在基础指标中的描述是“”，是考虑普适性的描述方式。而其在不同业务中的具体元素、形式、原则等体验要素都差别较大，所以需要额外说明当前业务的“品牌”具体需要达到什么体验要求。有些业务会额外提供一份品牌手册，供专家评估参考；稳定性：指标体系内的元素需要在一定时间范围内保持稳定，尽量不因业务的调整而频繁变化。有了细化的评估指标制定指引，我们向参评业务做了详尽的讲解，并充分探讨其在各个业务的可行性。业务设计师按照要求，结合实际情况，制定了由总目标、影响总目标的场景、场景的评估指标、评估指标的详细说明四个部分构成的指标体系。而后交由 QMD 项目组审核，确定无误后，由业务设计师根据模版，自行制定体验评估要用到的评分工具和主观问题反馈工具，这里我们用的分别是 58 问卷和在线协作表格。二、评估1. 体验评估一切准备就绪后，就可以邀请专家来评估了。就像第二篇文章介绍的那样，为了保障评估结果的可靠性，我们对评估工具、专家、环境等都制定了标准化方案。下图是 QMD 项目组在专家评估前宣讲的评估目标、机制及评估注意事项。2. 信度评估专家评估后，我们就拿到了评分问卷和主观问题记录表的原始数据。首先最重要的一件事就是预处理评分数据，评估信度，完成校验闭环。我们采用的信度可靠对照关系如下：如果第一次信度评估可靠程度不高，则需要调整数据组，重新进行信度评估，直至信度可靠。我们并非每一场体验评估都一帆风顺，在疫情期间远程体验评估时，我们就遇到了无论如何调整数据组都不能达到信度可靠的结果的情况。发现了这种情况，我们立即响应，临时邀约更多专家，快速加测了一场。欣慰的是，两场评估结果合并后，经过数据组调整，评分信度可靠。3. 业务复议通过第二篇文章我们知道，复议阶段的目标一是矫正部分理解有偏差的主观问题，二是让业务尽快了解 QMD 的结论，感受到其可靠可信，快速迭代优化问题。所以：复议呈现给业务的内容有：评分、分数对比、对应的主观问题、截图等；需要留给业务复议的反馈空间；想要做体验评估的你，需要具备一定的数据分析基础和表格操作技巧。4. 输出报告报告是为了让体验评估结论更加直观、可信，便于查阅与传播。我们对报告做了一些调整：① 评分和问题对应展示；② 评分间差距标记更加清晰明了；③ 增加 QMD 项目组的优化建议。希望业务重视分数洼地、不及竞品的指标对应的影响较大的主观建议。高优场景/指标/问题判断标准如下，供参考：权重最高或较高；和均值比差 10%/8%/5%/3%以上；和竞品比差 10%/8%/5%/3%以上；同比/环比差 10%/8%/5%/3%以上。三、体验跟进 & 项目复盘前面两篇文章介绍的体验评估指标体系和评估机制，是我们通过现状分析、理论分析等综合确定的，此时我们需要校验两点：一是需要校验根据认知、经验主观拆解的评估指标是否符合预期；二是需要校验 QMD 机制全程保障的专家评估结论是否可靠。我们采取的校验方式，就是看体验评估的结论应用到业务的体验优化后，是否带来如预期程度的业务指标的提升。所以我们在报告同步后，下一次体验评估前，留足业务改进优化的时间，组织参评业务复盘 QMD 结论落地情况。由各个业务阐述以下内容：问题发掘&解决：QMD 报告分析&洞察、解决思路&方案、上线效果&数据、结论；项目管理：优化进度、迭代计划。同时为了激励、帮助业务设计师推动结论落地，我们邀请设计总监、设计负责人和高阶设计师从三个维度为业务复盘的内容打分、点评，包括逻辑合理度、指标结果相关度、进度。同时 QMD 项目组收获了业务设计师对于整个体验评估机制的一些想法，结合组织过程遇到的问题和思考，做了周期性的复盘。四、推广 & 改正通过业务复盘及评委打分、点评，我们了解到业务的大部分迭代效果都是正向的，小部分负向效果的迭代需要尝试其他设计方案。所以目前没有因为复盘结果而要调整指标的情况。由此印证 QMD 体验评估的结论是可靠的，整个体验评估流程也是可靠的。如果有业务出现按照 QMD 的结论设计方案，验证发现预期的业务数据没有提升或者反而下降，则需要反思指标制定、分析、洞察、解决思路、方案是否有问题，逐一排查关键环节，及时作出调整。如开篇所述，QMD 项目组也在每次体验评估完成后进行复盘，持续优化评估机制，目前整个流程已经形成 SOP，便于高效组织每次评估，跟紧业务节奏，打好配合。五、最后以上详尽介绍了我们 QMD 项目组，组织 58UXD 各个业务体验评估的过程与思考。我们认为整个体验评估体系的升级和实践，最关键的思考逻辑就是闭环管理，这个逻辑贯穿始终，让所有人为因素的影响降到最低，保障过程和结果可靠可信。我们设定的闭环管理一共有以下三个方面：在策划环节，各业务制定的指标体系、整理的评估工具，都由 QMD 项目组审核，确保指标拆解符合指引要求，评估工具准确无误；在评估环节，各个业务的专家的评分都需要评估评分者信度，确保评分可靠；在跟进环节，通过业务复盘了解优化效果，校验指标制定的可靠性，以及整个 QMD 新机制为业务体验设计带来的价值。分享不易，希望对你有所帮助。欢迎大家留言交流。欢迎关注「58UXD」的微信公众号：本篇来源：优设网原文地址：https://www.uisdc.com/qmd-3
指标 度量 维度 如何从 0 到 1 搭建一套适合产品发展的体验度量指标模型？ 本文将分析产品阶段、业务属性、取数方式对于指标模型的影响，以及该如何拆分细化指标。搭建一套合适的体验度量模型，不仅能帮我们将“用户体验”这个概念具象化，用一套分数体系来衡量一段时间内的体验质量变化，更能将定性定量的数据结合起来，指导我们针对关键问题进行优化迭代。下面就结合往期经验，和大家聊一聊在实际项目中，如何从 0 到 1 建设体验指标模型。更多体验设计模型：设计高手都在用的双钻模型和5E体验模型，看完这篇立刻学会！编者按：设计模型中最常见的2个：双钻模型和5E体验模型，看完这篇帮你掌握！阅读文章 > 一、产品阶段与体验度量第一步我们应该审视自己产品的发展阶段，这是为了确定整个体验度量项目的宏观目标。对于不同阶段的产品而言，发展策略和目标的差异会很大。一般来说，各类型产品都会经历下图所示的几个阶段。随着自身的发展、竞争环境的变化，从启动逐渐走向成熟，进而寻求更大突破。因此，用户度量的目标也会随之变化。1. 冷启动 — 探索期业务目标：功能快速上线，用户数量快速增长；体验目标：无需过多指标，借机推进简单的用户调研，以发现定性问题为主要目的；具体举措：利用现有资源让项目上线并正常运转。快速上线不重体验，快速接触用户，验证产品价值，探索产品定位及发展方向，在产品体验上不必花费太多精力。2. 深耕期 — 打磨期业务目标：用户体量逐渐增加，功能趋近完善，追齐主流竞品；体验目标：逐渐完善指标体系，埋点取数准备，以长期客观数据监测为主；具体举措：基于确定的方向深挖，打造产品壁垒。体验问题走查，优化遗留问题。3. 突破期业务目标：用户增长逐渐见顶，寻找新的突破点；体验目标：在原有指标体系基础上，通过长期的体验数据洞察趋势变化；具体举措：成立专项研究小组，团队模块分工，深入分析，细化人群，挖掘用户潜在需求。二、业务类型与维度选取确定了整体的方向，下一步进行度量维度的选取。那究竟哪些维度是适合自身产品的呢？上图列举了常见的维度，主要分为三类：用户主观感受、用户客观行为、产品系统表现。选取具体体验维度也跟产品的业务属性息息相关，B 端和 C 端产品的侧重点并不相同。1. B 端产品代表维度：任务效率、一致性、易用性、性能工具类产品较多，重视核心流程的任务效率。需要的是既快又好，容易理解，操作简单，流程顺畅。一致性有利于降低认知成本，易用性有助于提高工作效率，性能更是保障一切的基础。2. C 端产品代表维度：满意度、净推荐值、忠诚度同类型产品的核心功能相近，因此产品的差异化吸引力相对更加重要。用户的态度就更需要被重视。当然核心流程的转化率、经营性指标也很关键，但这些业务指标受到的波动因素也很多，对于长期的用户体验提升而言，参考价值不大。三、常用取数方式确定了一级维度，我们需要从更加落地的角度去选取合适的取数方式，这里介绍两类较为常见的取数方式。1. 用户主动反馈这种方式更容易获得定性的数据，也就是上面提到的用户主观感受，但需要定期投入较大的人力成本，比如每个月投放一次问卷或每个季度实施一轮用户访谈，以及后期的问题归纳梳理等。这种方式更适用于发现、定位问题，只要在做访谈或者问卷调研时，对问题再进行细节上的追问，很容易找到问题的原因，以及解决的切入点。2. 后台系统记录这种方式更适合获得长期的定量数据，短期内可能无法精准定位问题，需要不断下钻。并且对于波动较大的指标，很难确定合适的标准值范围。因此，这种方式前期投入的数据开发成本较多，但一旦数据趋于稳定，后期维护成本较低，能够起到实时监测作用。在出现异常数据时，能够及时预警，便于问题排查。很多产品在发展初期，并没有为系统化监测做准备，所以很多后台数据是不完善的。比如性能数据，一般都是研发工程师关注的。而任务效率可能需要做相应的埋点开发，短期内可能难以看到成效。因此，一期体验度量项目，大都以获取用户主观数据为主。通过实施 2-3 轮细致的用户访谈和更大样本量的问卷调研，来获取满意度和易用性的主观数据。同时，也能获得较为详细的问题列表，定位较为常见的用户问题。而在后台取数方面，针对任务效率、性能等维度，也会逐步开始数据的后台开发、补充埋点等。在二期、三期的项目里，再实现系统化的体验管理。四、细项指标选取度量模型的框架已经基本构建完成，那接下来又该如何在框架上补充细节，选取二级、三级指标呢？下面介绍三类较为通用的选取逻辑。1. 按照用户使用流程划分任务效率需要把用户使用的流程环节拆解。比如线上购物可以拆分为：搜索商品、浏览商详页、加入购物车、下单结算、支付、确认收货、评价这些环节；2. 按照页面功能模块划分完整性需要把核心页面进行拆解。如首页可以拆分为搜索、频道区、运营位、秒杀区、直播区、推荐榜单、推荐商品等模块；3. 直接看整体，不再细分在详细指标并不是特别完善的情况下，也可以看产品的整体情况。如性能，可以看整体 APP 的冷启动耗时、热启动耗时、崩溃率、页面卡顿率等指标。五、如何计算分数现在，体验度量的项目已经完成了一大半，剩下的就是统一“度量衡”，进行算分了。在这么一个综合的体验度量体系中，每一个维度、每一项指标都有不同的单位。随便举几个例子，任务耗时单位为秒，首屏耗时的单位为毫秒，参与度维度下人均访问频次的单位为次/人日，完整性的维度又以%来计算……如何用一把标尺来衡量这些天差地别的指标呢？1. 换算百分制像满意度、易用性这类指标，本身就是按照百分制/十分制或其他分数制度来打分的，简单来说就是这些指标有一个明确标准的满分。这些指标的换算相对较为简单，可以将它们统一换算为百分制。2. 设定标准值另一类指标则没有固定的标准，比如性能下的各个指标，首页加载耗时多久视为满分？崩溃率降到多低视为满分？这些指标通常需要各方沟通讨论，确定标准值（最低分和最高分），再计算当前值在这两个值之间的百分序列。换句话说，就是把标准值之间的数切割成 100 份，看看当前这个周期的平均值落在 100 份里的哪个位置。那怎么确定合适的门槛值和目标值呢？有些数据我们可以参考行业的标准，像性能指标就可以参考 google chrome 的一些标准（加载时长、交互性、视觉稳定性都有较为详细的指标）。如果没有任何参考，则建议选取产品自身较长时间周期的数据，因为短期的数据往往波动较大，很难准确定义标准值。通过计算周期中位数和标准差，将上一个时间周期的标准值作为现阶段的参考，就可以将波动范围进一步缩小。在实际项目里，我们又发现了另一个问题，起步分值定得太低了，即使达到了门槛，也可能只有 20 几分。所以，我们在后期将门槛值对应的分数调整为 60 分。当然，多制定几个标准值，也能在一定程度上，更加精准地统计分数。比如，门槛值=60 分，目标值=80 分，挑战值=100 分。六、常见问题及相关参考Q：为什么要做体验度量？业界有哪些较为成熟的体验度量模型？A：看这篇：如何做好用户体验度量？京东设计师总结了五个步骤！体验度量是什么？阅读文章 > 以上，大致梳理了搭建数据指标的几个重要步骤，希望对大家有所帮助！欢迎关注「JellyDesign」的小程序：本篇来源：优设网原文地址：https://www.uisdc.com/experience-index-model
数据 用户 指标 2009 年 Google 做了这样一个试验：用 41 种蓝色作为链接色，呈现在搜索结果页中，追踪它们带来的点击率，最终色值#2200CC 脱颖而出。据报道，该色值相较于其它蓝色，每年多为 Google 带来 2 亿美元的利润，可谓相当可观。数据结果显示，链接色越偏向绿色效果也就是他们的核心数据越差，越偏向蓝色效果效果越好。这不是个例，全世界许多互联网公司，包括 58，都在做着类似的事情——用数据来做设计决策。线上同时跑着许多版控制变量的测试方案，制定一个核心数据指标，有可能是点击率、停留时长或是日活跃用户数，保留数据效果好的那一版继续设计与试验，无限寻找并趋近商业与设计的平衡点。这便是数据驱动设计的一个缩影，它概括了数据在这类产品中的主宰地位。数据设计干货：如何构建数据体系设计方法论？五大章节帮你掌握！作为一名用户体验设计师，在工作中最常出现的痛点有两个：一个是如何让方案获得各个角色的认可，顺利的将方案推行下去；另一个是项目上线之后，设计产出和设计价值如何体现。阅读文章 > 一、提问与挑战看到 Google 的链接色试验，结合日常工作中数据的地位，难免会提出这样的疑问：为什么不测试第 42 种蓝色？为什么只测蓝色，而不测其它颜色？下图也是一个有关于颜色的案例，绿色与红色两个开始按钮，进行 AB 测。绿色在国际上都与顺畅通过有强烈的隐喻连接，而红色往往代表着错误与禁止。但是最终数据显示，红色按钮版本的转化率要优于绿色 21%。不知道这样的结果，是否能支持了这个产品将红色按钮推全量。为什么公认的更好的设计方案，最终数据不一定好看？数据至上的大环境下，我们是否会逐渐失去对产品的直觉判断能力？用户的每个决策简化为一个简单的逻辑动作，这背后一定是科学正确、无懈可击的么？要解答这些问题与挑战，需要先搞清数据驱动设计的优势所在。二、生存的土壤数据驱动设计之所以能够有生存的土壤且不断发展，总结市面上的沉淀，有以下几点：1. 利于团队理解一般来讲，产品的核心价值导向是抽象的，为产品制定核心指标的过程就是将它具象的过程。具体的核心指标，相比于一个抽象的价值观，更有助于整个团队的理解。2. 拥有可操作性核心指标制定后，能够有相应的公式对指标进行拆分，而拆分后的指标可以指导团队在各个环节去不断优化，具有很强的可操作性。3. 符合产品节奏许多互联网产品，由于市场环境也好、企业基因也好、产品生命周期也好，都希望小步快跑去快速迭代。数据驱动的产品，方便快速试错，不断调整方向。4. 便于向上管理广义的向上管理，包括个人对 leader 的汇报、项目组对高层的总结，甚至创业公司对投资机构的宣讲，这些场景有数据的加持，会使工作进展、项目成果、发展潜力更可被感知，从而争取更多的资源倾斜。三、数据陷阱数据驱动固然有它的优势，但这不意味着它是完美的理论。1. 核心数据难制定产品制定核心数据的过程，必然伴随着近似与误差。因为没有绝妙的数据指标能够完全等同于产品给用户带来的价值。举例来看，一款交友产品中「用户在这儿玩得开心」是核心价值，那么核心数据是用户停留时长、互动信息数量，还是 App 打开次数？如果用户停留时长高，但仅打开过一次手机意味着什么；如果用户频繁打开手机却没来往过几条信息又是什么场景；如果用户信息数量很多，但每天多次只打开不回复社交信息，那 ta 是怎样的用户？可是这些数据乍一看都是「玩得开心」的近似代表，却都有它们自己的局限。这就告诫我们一定要注意数据陷阱。2. 避免虚荣指标设计工作中，会出现数据指标有所提升，但最终产品收益不大的情况。其原因可能在于虚荣指标。虚荣指标 Looker 创始人 Lloyd Tabb 把虚荣指标与明确指标的差异总结如下：举例，对于家服平台来说，58 到家 App 并不是像其它 C 端用户一样只要登录就可以，用户需要在线完成购买服务的流程，才能称之为活跃用户：找服务、选服务、完成购买并完成线下服务。所以通过签到领奖励等运营手段带来的打开、注册/登录行为只是一些数据，除了为当天增加一个日活外，没有更多作用。所以 App 下载量、注册登录用户数便是 58 到家的虚荣指标，下单量才是精准指标。3. 代入到更宽广的层级设计一样东西通常需要把它置于它所属的更大的环境中来衡量，这是我从建筑师 Eliel Saarinen 的设计理念中学到的东西。互联网短短发展数十载，但是人们对于设计的探寻已经绵延千百年。建筑学——更是集概念性、落地性与时间沉淀于一身的学科。非常值得借鉴学习。建筑学如此，互联网产品的设计也如此。部分数据未能真实反应产品使用的情况，可能是因为没有把小的设计环节放置在整个流程中 没有把设计流程放置在整个产品的使用中 甚至，再进一步——没有把产品的使用放置在用户的日常手机使用中。如果我们在更长更广的视角去看待设计环节的数据驱动验证，很可能发现那个关键数据只是整个链条中的小小切片。它只能反应上下游关系，而无法真正地指导整套设计方案的产出。举例，58 到家 App 首页的 feed 模块，上线了双栏内容穿插 sku，与单栏场景化 sku 的灰度测试。预想中，后者能够为目标不明确的用户打造许多场景化的需求温床，促使用户根据场景提示来完成下单。数据情况：之前该该环节的核心数据定为了点击率，这就没有做到把这个小的设计环节放置到整个流程当中，也没有选用最核心的数据——即订单转化率，来衡量这个设计的好坏。如果仅看点击率，后者效果不佳，但如果看订单转化便扳回比分。再结合用户体验的直觉与经验：场景化 sku 的用户心智引领路径过长，不适用于若干行列表的呈现方式，会造成用户的疲劳感。相信后续针对后一版本的优化会取得较好的效果。还有些情况，一个核心指标确实无法反映设计的好坏，可以尝试增加二级指标，这也是代入到更大层级的一个方式。举例，假设 58 到家有 20%的用户是我们判断的高价值用户，他们贡献 80%的收入。那么我们在针对与收入相关的核心指标做版本迭代时，会不断向着 20%的用户倾斜。但是剩下 80%的用户，他们可能对于产品的增量拥有更大的想象空间，在优化核心指标的同时，可能会牺牲掉产品长远发展的可能性。所以增加并观测有关 80%非核心用户的二级指标，争取达到短期效益目标和长期增长目标的双保险。四、其他驱动经过上面的分析，我们发现数据驱动设计这件事本身，有利有弊，如果要做得科学有指导意义，难度并不小。那现行条件下，是否有其它驱动能够将其代替？假说驱动、理论驱动、直觉驱动以及神经营销学等等都是与之并列的驱动方式。其中直觉驱动与数据驱动最为不同。1. 直觉驱动罗翔老师讲刑法，说有些同学学了法之后，就失去了人性，失去了老百姓都懂的朴素价值观。做设计一样，我们判断一个设计好坏的时候，如果代入了太多复杂的设计方法论、数据验证理论、产品营销思维，就容易忘掉最朴素的设计直觉与价值判断。2. 神经营销学有关神经营销学，有一些耳熟能详的典故，如可口可乐与百事可乐的盲测。推荐 TED 演讲《神经营销: 消费者决策的新科学 Neuromarketing: The new science of consumer decisions》，内有详实的案例。3. 最重要的关卡最后回到产出设计方案的人——设计师自己。在发出交付邮件的那一刻，是否感到骄傲；上线后的某一天是否会很开心看到自己的设计；年终总结时是否愿意把它提交到团队的设计年鉴当中。这些问题的回答如果都是肯定的，我想这个设计不会差。最后回到最初的 41 种蓝色，无独有偶，2010 年 Microsoft 的 Bing 也做了类似的试验。最终确定了该搜索引擎的链接色——#0044CC。据报道，如果把额外的广告点击量和用户参与度考虑在内，每年能增加8000万美元的收入（考虑到Bing的市场份额远小于Google，Bing链接蓝的收益增长，从百分比来看要高得多）。看到这里，你是否对这两个互联网巨头的试验结果产生了一丝怀疑，Google 与 Bing 的用户，是否有如此大的差异，以至于这两个冠军蓝色看起来截然不同？有没有一种可能，人类的社会活动、心理状态以及使用产品时辅助做决策的潜意识等等这些，根本无法用数据去概括与总结？那数据驱动设计的根基，是否不复存在？这让我想到老友记中，Phoebe 让 Ross 这个古生物学博士，对进化论产生了动摇。当 Ross 松口后，Phoebe 对他说「How are you going to work tomorrow?」回到设计，这篇文章充满自相矛盾的假说与推演，既没有自圆其说，也没有明确立场。只是希望能够信马由缰地把有关数据的一些思考记录下来。接下来，你将用什么作为你的设计驱动?欢迎关注「58UXD」的微信公众号：本篇来源：优设网原文地址：https://www.uisdc.com/data-analysis-design
满意度 目标 指标 经常能听到设计师大谈特谈数据分析，一般讲的是漏斗分析，或者分析留存、PV/UV 之类的分析方法和细节，偶尔有些设计团队分享谷歌的 GSM 模型，但是很少听人讲数据分析的基础逻辑。这周我正好事情很多，就和大家简短的分享一下。学习数据分析，从数据分析的4种方法开始在设计工作中，我们常用的数据分析方法有以下 4 种： 漏斗分析 拆解分析 对比分析 行为分析漏斗分析漏斗的定义：基于明确起始操作路径，根据每个路径节点的用户数（操作次数），各个节点流转过程中，会存在一级级的流失，最终形成漏斗形态。阅读文章 > 设计师和产品想法不一致怎么办？试试谷歌的GSM模型！我们为什么要使用 GSM 模型常规工作中，需求往往由 PM 发起，UE 团队到底如何跟 PM、FE 等团队成员协同，达成目标共识，是我们值得讨论的。阅读文章 > 对于设计来讲，数据分析就 4 步：制定指标：知道要去分析什么衡量指标：什么是符合预期、什么是正常波动、什么是异常波动拆解分析：假如数据不符合预期/出现异常波动，找到关键场景分析原因：内部/外部原因制定目标项目目标：也就是谷歌 GSM 里的“Goal”。项目开始时，你就应该了解：这个项目的业务目的是什么？是提升老用户的平台粘性还是拉新促活？是提升熟练用户的操作效率从而提升平台体验，还是帮助新用户更好的学会使用产品从而降低平台运营成本？项目目标是整个设计项目的根本评判标准，虽然一般不是设计定的，但我们可以在开工之前问一嘴。设计目标：大部分情况下，设计目标和项目目标是两个不同的目标，设计目标往往只看行为指标（PV/UV/时长等等）和态度指标（满意度/NPS 等等）。设计目标可以是项目目标的一部分，但是因为项目目标经常包含和行为/态度数据（也就是 PV/UV/满意度）无关的滞后业务指标（比如 GMV），这种业务指标对设计没什么指导价值，也很难证明设计对业务指标有直接影响，所以一般不建议把项目目标直接作为设计目标。衡量指标现在你已经有了自己的设计目标——比如你的项目满意度是3.5，那3.5是好还是差？这是需要定义的。互联网设计是一种带点创意的、可证伪的实证研究，为了让我们这个设计可证伪，我们需要划出那条证明/证伪的界限。一般而言有三种办法：纵向趋势比较：我们可以和上一个时间周期做对比（比如本月和上个月的满意度对比，这叫环比）；或者和一个更大的时间周期中相同的节点做对比（比如今年 1 月和去年 1 月的满意度对比，这叫同比）横向比较：和竞品或者和平台其他模块比较，比如虽然我们的功能满意度只有 2，但是竞品是 1，说明总体我们解决的比他们稍微好些。基线比较：有些量表（比如 NPS、SUS）自带了推荐的基线值，低于基线（比如 NPS 的 7 分）可以说明体验就是不太好。拆解分析讲这一块之前我们先举个例子，北京某大学有两个学院，经济学院和教育学院。广东/天津两地各有 700 个学生报考了这个大学，其中广东省有 380 人高中，而天津只有 260 个人考中了，假如你来做这个分析，现在能得出结论：广东省的录取率比天津省高吗？不能。假如我们以学院-省份两个维度去拆解数据，可能会发现：经济学是当年大热门专业，录取门槛极高，而教育学院没招满，录取分数线比较低。广东省报考某大学的学生报教育学院的比较多，而天津报考某大学的学生报经济学院的多。这么一算，反而在两个院中，天津学生的录取率都比广东学生高这件事情说明，我们需要探索、分析所有可能对总体情况造成影响的场景或者指标，否则分析结果就会和事实产生偏差。以满意度为例，有几种拆解维度：基于时间的：缩小分析的时间单位，是否在某一周内满意度骤降，导致一个月内平均满意度都有下跌？基于人口统计学的：不同年龄段/性别/地区/语言的用户，是否在满意度上有差异？是否有明显不满意的群体？基于用户技能/行为习惯的：新老用户、小白/专家用户、不同用户角色、不同诉求的用户是否在满意度上有差异？基于任务环节的：不同任务环节、甚至不同页面，是否在满意度上有差异？分析原因拆解不同维度分析后，我们基本可以定位到具体影响设计目标的关键问题点：比如一部分老用户的满意度下降了，或者 1-2 月间的 PV 大幅下降导致整体指标受影响。最后，我们需要为这些现象找到原因。有时原因是周期性的、不可避免的，比如一般改版后老用户都需要一点时间去适应新的设计方案，这会导致短期内满意度降低，但 2 个月内会有慢慢回升。又或者节日/突发性事件都会对某些产品/设计产生影响。有时原因是外部的：比如虽然我们没有做什么事情，但是竞品上线了新功能，或者因为政策局势的变化引起了变化。当然，更多的时候原因是内部的、和设计相关的，比如设计中遗留的可用性问题或者部分边缘场景没有被支持到。为了挖掘出这些原因，往往我们需要和用户实地访谈，或者至少打打电话。因为问卷、取数的结论比较浮于表面，只能给到浅层的概念，而深刻的洞见、真实的反馈，只能在人和人沟通的时候渐渐表露出来。用6个章节，帮你掌握常见的数据指标和数据分析模型一文读懂设计师应该懂的数据指标和数据分析模型。阅读文章 > 欢迎关注作者微信公众号：「白话说交互」本篇来源：优设网原文地址：https://www.uisdc.com/data-analysis-3
落霞与孤鹜
飞翔的企鹅
在路上
