评分 指标 测量 秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。在上一篇《设计师必备体验评估设计指南（指标篇）》中提到，目前 QMD 存在的两个难点，分别是：问题难推动落地、评估结论信服度低。针对目前难点，今年我们项目组对测评体系再次升级，推出了全新的 QMD3.0。设计师如何做好体验量化？收下大厂的QMD评测机制（指标篇）秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。阅读文章 > 我们将通过干货满满的三篇连载文章，分别从「指标模型」「评估机制」「组织实践」来全方位的分享体验评估机制的升级经验，欢迎大家的持续关注和探讨。本篇为大家介绍：围绕提高 QMD 主观评价的可信度，通过信度检验，管控测评流程，建立人人可信赖的测评机制。一、信服度低的原因想要建立人人可信赖的测评机制，需要我们解决目前“结论信服低”这一难点。在讨论结论信服度的问题，我们需要知道 QMD 到底属于什么类型的测评；按照测评变量的不同，我们可以讲测评分类两大类，主观性测量和客观性测量；举个例子，主观性测量类似简答、论述题，客观性测量类似单选、判断题；而 QMD 是邀请专家对特定业务场景，根据特定指标进行量化评估，其评分会因为其评分专家的主观判断影响，因此我们的 QMD 就是属于主观性测量。这就导致在评分过程中，因为评分者的知识结构（也就是对世界的认知、经验等）、判断水平（也就是对评分标准的认知和理解）、个人偏好（对设计风格、操作习惯偏好等）的不同，使评分者的评分存在差异。因此亟需通过某种技术手段，去控制测量误差，提高主观变量测量的精确性，而这一技术手段就是下文将要提到的评分者信度。二、检验信服度的手段1. 什么是信度在了解评分者信度之前，我们需要知道什么是信度。信度是指测量结果的一致性程度，亦称可靠性程度，它衡量的指标是：对同一对象测量得到的结果是否一致。举个例子，当你拿杆秤去测量 10 斤的西瓜，过一个月之后，再去测量一个 10 斤的西瓜，它还是 10 斤，说明这个秤就是可信的，这就是信度；而这个西瓜是 10 斤，测量出来也是 10 斤，说明这个秤是有效的，这就是效度。2. 什么是评分者信度而评分者信度就是信度的一部分，其实评分者信度是若干个评分者对同一组测试结果评分的一致性程度，他关注的是不同组间评分者之间的共同差异的分析指标，也就是说侧重处理评分者组间差异的一般趋势，主要目的是为了测量不同评分者对同一样本是否给出同一正确的分数指标，因此为检验 QMD 中各专家评分是否一致，选择了评分者信度作为分数的检验指标。测量评分者信度的统计指标及方法很多，那我们需要如何选择适合 QMD 的统计指标呢？在根据 QMD 不同的测量特点、数据类型、评分人数等，我们 QMD 选择的测量方式是组间相关系数（ICC），也就是通过方差分析来计算总体变异多大程度上属于总体的特征。3. 如何分析评分者信度选定测量方法后，具体怎么执行呢？就是万能的 SPSS 软件，按照：Analyze—Scale— Reliability Analysis 步骤得来，根据分析结果可以得知 ，本次分析的评分者评分信度是否一致，举个例子，在针对某个业务线进行QMD评估，对6位专家的评分进行评分者信度分析，结果表明，ICC=0.9704>0.75，p
落霞与孤鹜
