测试用例的设计原则

如何优化测试设计

为什么聊这个话题?

我们看到的大部分关于测试用例设计的文章,都在讲等价类、因果图、流程法等内容,这是关于测试用例的具体设计方法层面。本文想讨论的重点是,测试用例设计该遵循什么原则,有哪些思维和观点有助于产出更好的测试设计,这些思考汇集了对质量和测试的理解,以及对设计成本和质量预期的平衡,思考这些原则有助于测试设计的完备性和有效性。

谁需要了解?

本文面向所有需要设计、执行、评价测试用例的角色,如需要写底层测试的研发、负责测试设计与执行的测试、进行代码或测试评审的研发负责人和质量负责人等,以及想提升对软件质量理解的其他角色。

有哪些设计原则?

测试用例设计需要遵循以下原则:基于需求、场景化、描述精准、可判定、原子化、可回归、独立、正交。下面就这些原则来逐一解释。

1. 基于需求

测试用例是为了验证需求而设计的,应避免过度设计。

  • 从需求出发,设计能有效验证需求的测试用例
  • 明确不在需求范围内的功能,不设计测试用例
  • 在需求范围内的功能,不过度设计
  • 一些没有明确提出、但属于共识或隐含的需求,应设计测试用例

例1:集成系统之间用于同步数据的更新接口,需求规定接口只允许单独调用,如果设计了并发量的测试,就属于过度设计。就算并发量测试出了问题,也不能作为软件缺陷,因为并发调用不在需求范围内。

例2:单次调用这个接口,等了半天没响应。这种情况,就算没有明确提出关于超时设置的需求,也可以设计用例并提交缺陷,因为接口的响应表现已经远超出了正常响应的时长范围。可作为隐含的需求进行用例设计,如果在需求分析和细化时可以包含这类情况,就更好了。

2. 场景化

测试用例设计尽可能贴近真实用户或端到端的使用场景。

  • 应全覆盖真实用户的使用场景
  • 围绕场景进行更多的探索
  • 以第一人称的主观视角描述用例,帮助建立同理心
  • 按照用户使用的自然顺序设计用例

例1:某车载导航经常出现地图失效、误导、卡顿等问题,直接影响到了车主日常使用。一过隧道地图就失灵了,车机不能连WiFi,信号差导航就没法用……在软件测试阶段这些问题都没暴露,而嵌入式软件的功能验证不能不考虑真实的使用场景,能在需求分析时就考虑到当然很好,如果前期缺失这些关键信息,在测试设计时进行使用场景的思考就显得尤为重要了。

例2:一些不包含终端用户使用场景的软件,比如后台功能、接口或算法等,还需要遵循场景化这一规则吗?当然也是需要的,场景化的原则并不局限于终端用户,也可以面向系统或服务的消费者,不管用户是人还是机器、系统还是接口,都可以面向受众场景来进行用例设计。

3. 描述精准

描述测试用例的语言要尽量精准,避免歧义,保证不同的人对用例都有一致的理解。

  • 语言准确,没有歧义,尽量具体不空泛
  • 描述精练,保留必要信息,去掉无关信息
  • 避免大段描述,对大量信息进行分层和结构化设计
  • 描述角度关注给用户带来的价值,而非详细的操作步骤

例:一个不满足描述精准的用例设计

验证抽奖次数的用例.png
验证抽奖次数的用例

请结合以下问题来理解该原则:

  1. 该用例的测试价值是超过限定次数的边界验证,从设计来看也在验证5次以内
  2. 第1-5次有必要放在这里验证吗?是不是可以放在前提条件里?
  3. 在这验证1-5次,和另写一个用例来验证5次以内,两种设计哪个更好?为什么?
  4. 现在次数限制是5,如果是200次呢?
  5. 哪里违反了描述精准原则?

4. 原子化

每个测试用例应有单独的测试点,确保一个用例只测一点。

  • 每个测试用例,只针对一个验证点进行设计
  • 如发现验证点多于一个,可拆分
  • 用例的颗粒度要适宜

例1:界面比较复杂,元素很多,为了满足原子化,是不是每个点都得写一个测试用例?当然不必,可以思考测试点是什么,并不是UI元素里的每一个点,而是UI的实现满足UI设计,从这个角度看,整体算是一个测试点。在描述时也不用啰嗦很多,直接贴个图就很直观。

例2:如果要测试的是一个流程,有很多步骤,还满足原子化吗?思考方法同例1,需要验证的点并不是流程中的某个步骤,提供用户价值的是整个流程,以验证流程的角度来思考,这个测试点的设计仍然是满足原子化的。

5. 可判定

应给出可判定的期望执行结果,在没有缺陷的情况下,多次执行应保持结果一致性。

  • 判定准则应明确可判,避免模糊或笼统的描述
  • 除非业务规则变化,否则判定准则应不变
  • 同一条件下,多次执行结果判定应一致

这个原则比较简单,只要用例有单一的判定规则,可以按照预期结果和实际结果来判断用例是否通过,就满足了可判定原则。

6. 可回归

测试用例的存在就是为了验证和回归,因此可回归是用例的必要条件。

  • 同一条件下,不同人回归的结果应一致
  • 在不同时间内,回归结果应一致
  • 使用满足条件的任何数据,回归结果应一致

例:假设要测试的是抽奖算法,每次不一定抽中,或者要验证拍卖逻辑,不一定次次成交,这种情况下还算可回归吗?同样的方法,仍然思考测试点,这类情况要验证的测试点不是单次执行的结果,而是多次执行的概率,或是拍卖算法的逻辑,虽然每次执行的结果不一样,只要统计上满足算法和概率要求,就是可回归的设计。

7. 独立

测试用例彼此之间应尽量保持独立,用例B的执行不应该依赖于用例A的执行结果。可以结合上面的抽奖用例和以下问题来思考独立原则。

  1. 当多个用例彼此之间存在数据或流程上的依赖时,是放在一起验证较好,还是分开验证较好?
  2. 如果测试人员按照特定顺序执行用例比较节省时间,如订单的创建、提交、审核、取消,这几个过程还是彼此独立的吗?
  3. 在用例里怎样描述能凸显独立性?
  4. 为什么用例之间最好彼此独立?

8. 正交

测试用例的设计应尽量全面,无重复,确保测试设计有效且低成本。

  • 多个用例之间应彼此正交
  • 不重复验证同一个测试点

对于不重复验证同一个测试点,想更多澄清一下,我们在设计用例的时候应避免重复设计,但在测试执行时,适当的重复验证是合理的,能够预防一些遗漏的缺陷。

以上就是测试用例的设计原则了,这些原则能帮助我们更真实、有效且经济地设计出设计出更好的测试用例。

测试用例的设计原则与价值.png
测试用例的设计原则与价值

合适的使用场景

测试用例的设计原则可适用于以下场景:

  1. 测试用例设计:任何进行测试设计的场景,如单元测试、用户测试、接口测试等
  2. 测试用例评审:进行测试设计评审的场景,可参考设计原则给出改进建议
  3. 回归范围确定:好的用例设计能够更方便地确定回归范围,当确定范围困难时,有可能是用例设计本身不合理,难以快速界定测试的范围和要验证的价值
  4. 测试有效性评估:当需要评估测试是否有效时,可参考设计原则进行评估,好的测试设计可以更有效地验证功能和揭示缺陷

最后再澄清一下,测试用例设计原则同样适用于敏捷测试的情况。可能在敏捷场景下,测试人员不会写出详尽的测试用例文档,但由于敏捷的快速迭代和反馈,在测试设计上更要追求高效和经济,因此会比时间和资源相对充裕的场景更需要优化测试设计。

不论在何种场景,都需要更好的测试设计,这也是优秀的软件从业者必备的核心技能。

All rights reserved
Except where otherwise noted, content on this page is copyrighted.