软件熵减
如何应对“拍脑袋”需求？
作为需求的接收方，不论是产品经理、BA还是研发，你可能在以往工作中听到过类似的需求： 某 App 有已读未回功能，我们也加一个类似功能。 他们的商城账户体系就是这么设计的，我们也可以这样设计。 如果没有思路，你们可以参考某公司的同款应用，我......
底层替换后，如何确定回归测试范围？
今日收到一位测试经理的问题如下： 晓南老师，最近做测试遇到了2个困惑点。 困惑一，当前测试都是底座替换类，如数据库、中间件的替换，开发分析影响范围就是全量，但是其实全量是浪费的，如何精准是一个问题。 第二个困惑，在这种底座替换测试中，是没有......
如何避免度量指标变成“造假”指标
本文写于2022年1月20日，作者：刘佳、于晓南 晓南整理文稿时，在保留原意基础上稍有修改。 为什么聊这个话题？ 今天想跟大家聊聊如何避免度量指标变成“造假”指标。 开发团队在落地研发效能相关实践、尝试提升研发速度与开发质量时，常常会制定一......
测试如何影响业务、增强协作？
为什么讨论这个问题 质量社区有伙伴在群里提问：测试如何反哺业务？ 我觉得这个问题很好，不仅自己遇到过，也被同事和客户反复问过，是一个做测试和质量工作都会遇到的典型问题，非常值得拿出来单独讨论一下。 为了避免因不同立场而产生误解，我将问题重新......
如何评价团队的质量能力？
为什么讨论这个话题 在质量与测试领域，有一个既老生常谈、又常谈常新的问题，“如何评估测试人员的绩效”，我每年都有机会见到它几次。与之相关的，还有以下问题可以一并思考： 如何评估测试效果？ 如何评估质量能力？ 如何评估测试人员的能力水平？ 测......
产品价值“三省”
“三省”的由来 大家好，我是晓南。先自曝一短，我今年应该中年危机了，虚岁。到了这个年纪就会很想表达，想找人抱团取暖，类似于国外那种戒烟戒酒互助会，中年危机互助会，像我们也会有产品经理社区、技术社区、质量社区，也是互助会，一样的。 感觉现在这......
如何看待顶层设计与产品落地两层皮的问题？
两层皮的尴尬现状 大家在日常工作中，是否会面临这样的挑战：在产品落地的过程中，经常发现产品的交付形态与最初的设计不一致，有时甚至是完全背离的，业务方在规划和设计时可能有一定的思路，但产品做出来发现完全跑偏了。 典型场景 举几个直观的例子大家......
需要明确区分异常测试用例吗？
如何划分异常测试用例 通常我们认为，异常测试就是通过设计并执行异常相关的测试用例，以检验系统对异常情况的处理是否满足需求。与之相关的概念有变异测试和缺陷注入，在这里不做过多的概念辨析，只讨论一个问题：工作中产生冲突的原因，可能是由于不同的人......
如何平衡客户和用户的诉求冲突？
问题和决策思路 产品决策者通常会面临大量需要抉择的问题，可能小到一个按钮的样式选择，大到是否该投资某个产品方向，都等着决策者拍板。而有些问题往往又很难直接回答，时常陷入两难境地。比如这个问题：“当面临客户和用户的诉求冲突，该如何决策？”，这......
测试用例的设计原则
为什么聊这个话题？ 我们看到的大部分关于测试用例设计的文章，都在讲等价类、因果图、流程法等内容，这是关于测试用例的具体设计方法层面。本文想讨论的重点是，测试用例设计该遵循什么原则，有哪些思维和观点有助于产出更好的测试设计，这些思考汇集了对质......
质量度量之团队牵引
近期的培训中，遇到这样的一个问题： “增加指标如何能不加重研发的负担？” 我认为这是个普遍问题，非常值得深入讨论，于是便有了这篇文章。 不管我们讨论的是质量度量还是改进，亦或是提升研发效能，期望的目标都是牵引团队迈向更好的方向。所谓更好的方......
如何破坏软件功能：常见缺陷模式
大家有没有发现这个有趣的现象，在研发过程中，不管开发自测的多完善，验收标准多完备，QA总能发现更多缺陷。哪怕是一个在线上已经稳定运行很久的既有系统，QA一来立马搞挂了。有时候不得不感慨，QA好像柯南一样具备招虫体质，这发现更多bug的脑子是......
怎样梳理需求全景？
交付过程中的挑战 在产品研发和交付过程中，你是否遇到以下问题： 收到的需求较为零散，难以快速聚焦到用户场景中去 在需求分析时，难免遗漏掉一些不那么关键的需求 思考近期要交付的内容时，难以了解需求彼此之间的关系，就无法快速排除优先级 无法基于......
为什么不能直接给方案？
现状挑战 思考日常工作场景，产品经理负责承接不同来源的需求，进行需求分析并产出方案，传递给研发团队并跟进实现。上线后可能收到来自客户的各种反馈： “做的完全不是我想要的！” “嗯……也行吧，感觉不是很理想。” “先这样用，后面肯定得再改进。......
探索质量外延 - 质量安全故事
故事1 - “我不是故意上传的……” 多年前，当时所在的公司为各类建筑工程提供项目管理系统。 研发部的项目经理大刚为刚入职的实施工程师小王提供了工时数据导入的测试表格文档，便于他熟悉工时管理系统的功能。小王拿到测试数据，在预发布环境进行了数......
体验为王的时代，质量即体验
日常生活中的质量思考 有一阵流行这样的面试题： 怎么测试一个杯子/笔/井盖/洗衣机？ 怎么测试一个网站/系统/登录框？ 关于某产品，你怎么看？ 你遇到的最有趣的Bug是什么？ 你为什么选择做测试？ 这些题目在考察测试能力的同时，其实也在考察......
集成血案启示录
集成血泪故事 × 3 唯一不变的是持续变化 辰星系统在与集成方M系统进行同步开发，负责开发和联调的程序员老张正盯着屏幕发呆。短短一周，这已经是集成方第三次提出变更了，先是业务流程变更，再是接口变更，现在是调用方式变更，老张心里有句话想送给对......
一次集文化差异、网络工程与诸多巧合于一身的debug！
这是个异常精彩的关于有线网络喜欢红茶的故事，先上为敬： 出处见水印，原始链接 debug过程： 发生的时机：早上或中午，小A泡茶后20分钟 发生的场景或环境：当小A自己泡茶，且不泡红茶时 相关的人：有且仅有小A 没有问题的对照组：无线网，小......
什么时候该减少质量投入？
以往我们谈起质量时，讨论较多的，是需要持续追加质量侧的投入。而当持续追投并未获得理想回报时，就引发了关于减少投入的探讨。本文讨论那些该减少投入的场景，以及各个场景对应的原因分析。 不需要高质量 虽然有点危言耸听，但其实大部分产品并不需要很高......
基于SLA的测试
问题缘起 在信通院发布的《云原生测试白皮书》正文第9页，提到“基于SLA的测试”。有社区伙伴提问，什么是基于SLA的测试？之前并未细想过这个概念。带着QA刨根问底的职业病，是时候借此契机搞明白这个问题了。 对于不熟悉的问题，我的习惯是先做关......
技术改进项目的质量保障思路
本文分享一些技术改进类项目（以下简称“技改项目”）的质量保障思路。 技改项目的质量挑战 何为技改项目？即目标是服务于技术改进或架构升级，而非服务于常规的业务功能更新。常见的技改项目有：大规模的前端重构或后端重构、技术架构升级、数据库拆分、数......
我测了啊，我真测了！
对测试人员来讲，什么事情比较尴尬？ ——线上出问题。 再尴尬一点儿呢？ ——没测到，线上出问题。 最尴尬呢？ ——明明测到了，线上还是出问题。 场景1：没测到，生产环境出问题 意料之内情理之中，这太正常了。没测到出了问题不该惊讶，没出问题才......
关于测试的三个关键问题
最近一直在思考关于测试的三个关键问题应该是什么，目前有了初步的假设和解决思路，姑且先写下来，以抛砖引玉，寻求更多反馈和探讨。 问题一：测试是否真实有效？——测试有效性 第一个关键问题，我想知道我的测试是否都真实有效。乍看上去像个伪问题，其实......
从缺陷率到质效工作本质
讨论来自一个社区朋友。 小A：“晓南老师，我带着问题来了。通常测试报告中【缺陷率】这个指标，我们有没有参考的指标，比如某个模块缺陷率为多少合适，还是说这个模块跟以往的build进行环比呢？” 晓南：“横向对比指标绝对值没啥太大意义，变化趋势......
怎样度量需求质量
一天晚上，给娃讲绘本《肚子里有个火车站》，故事用形象生动的比喻讲解消化吸收的原理与科学饮食的重要性。 绘本《肚子里有个火车站》 简单描述一下： 我们的肚子里有个火车站，吃进来的食物会被小精灵们加工好后进行装车，然后以一定的频率发车。 有时很......
有效测试的精髓在于控制变量
把大象装进冰箱需要几步？ 这一部分可以跳过。 我想要大象在冰箱里，所以先去动物园找一头大象，再找一个冰箱，把大象牵到冰箱旁边，打开冰箱门，然后把大象装进冰箱，再把冰箱门关上。所以是七步。 现在遇到一个Bug，最后大象没在冰箱里，可能是哪里有......
测试左移：需求相关的质量保障
测试左移的由来 缺陷的修复成本逐步升高 下面是质量领域司空见惯的一张图，看图说话，容易得出：大部分缺陷都是早期引入的，同时大部分缺陷都是中晚期发现的，而缺陷发现的越晚，其修复成本就越高。因此，为了降低缺陷修复成本，我们期望在更早的时间发现缺......
质量三人行
质量三人行是一款来自ThoughtWorks（思特沃克）的播客节目，我们关注软件行业测试领域的现状和未来，质量和测试人员的职业发展。 你可以在小宇宙，喜马拉雅以及Pocket Casts，Google Podcasts，Apple Podc......
《质量三人行》第一季完结撒花~
点进来的小伙伴们有眼福了，可以了解这档播客背后不为人知的故事。 （激动的搓手） 1. 没你不行，没你们不行 第一季最后一期《测试的价值》，凯峰老师日理万机分身乏术，我被委以重任，客串主持人。于是，这期在缺乏优秀主持人的情况下完成了录制。 来......
像用户一样测试：QA永存
软件品质与上帝视角 软件的品质 在筹备《质量三人行》新一期的录制时，乱入的健总分享了一个很有意思的观点：“软件的品质”。后来我们展开了激烈的讨论，过程不表，先上结论： 品质=设计+质量 设计：包括跨产品设计一致性，用户体验、交互优化、UI…......
像用户一样测试：别掉链子
“掉链子”是一句俗语，比喻在关键时刻出故障，或者重要的事情本该做好却没做好。 “掉链子”的说法来自于自行车：在骑行过程中，链条通过链轮传送，带动车轮滚滚向前。当链条从链轮上脱落，就无法进行传动，失去了对车轮的控制，脚蹬子就会空转，自行车就会......
像用户一样测试：不妨犯傻
一个暴露年龄的悲伤故事 小时候的第一台电脑：17寸液晶显示器，奔四处理器，全新界面的Windows XP操作系统，标志性的大草垫子桌面。为了和学校的电脑保持风格一致，我还调成了经典主题，类似下图：（这真是一个暴露年龄的悲伤故事） 坐在自己的......
测试面试官是咋想的，了解一下亲~
想一想，测试人员在什么场景下会跟测试面试官有交集？一般就两种情况，在一场测试人员招聘的面试中，我作为面试官，或者我作为应聘者。先来看一下“测试人员招聘”这个典型场景吧。 测试人员招聘 招聘，指的是为组织内的某个工作岗位（全职或兼职）寻找合适......
像用户一样测试：打破知识的诅咒
引子：先来玩个视觉小游戏，请在下图中找到隐藏的五角星。 没找到的朋友，答案在文末。请看完答案再回到这里。 现在我们回看上图，是不是很容易就找到五角星，甚至第一眼就看到它了？ 知识的诅咒 “有些事知道了，就再也回不去了。” 知识诅咒，指的就是......
质量度量之定性分析
在前文中我们讨论了软件全生命周期的质量度量，以及迭代内的定量分析，本文主要讨论的是跨迭代的定性分析。 定性分析也是度量 之前我们讨论过定性分析和定量分析的区别：定量分析研究数量和频率，而定性分析研究意义和影响。有小伙伴可能有疑问了，定性分析......
质量度量之全局优化
在前文中我们讨论了软件全生命周期的质量度量，以及度量的两种方式：定性分析和定量分析。本文我们主要讨论质量能力的体现，以及由此引申出的度量范围和策略。 局部优化伤害全局利益 这不是Bug，这是特性 就一个问题是不是Bug而产生的争议。 测试：......
测试人员价值的终极体现
开门见山 & 太长不读： 质量内建依赖于团队内所有成员的意识和能力，测试人员价值的终极体现是团队赋能，可以从多个维度入手，在产品生命周期的不同阶段，针对不同角色进行持续输出，形成质量思维的规模化，从而从根本上做到质量内建。 正文： ......
全生命周期的质量度量
度量之殇 没有度量 “我们公司的软件测试活动比较随机，测试产出的缺陷也没有统一管理起来。” “那如何来度量软件质量呢？” “凭主观印象拍脑袋吧……近期线上问题少，就觉得质量好。之前刚上线一个大版本，线上问题多，就觉得质量差一点。” 有度量，......
验收标准到底是不是测试用例？
敏捷质量实践中提倡测试左移，测试人员要尽早介入需求阶段，越早越好。测试人员需要关注需求的有效性，以及在需求产生和传递的过程中，交付价值是否被准确的描述、理解和对齐。在这个过程中很容易遇到一个常见问题：验收标准是验收测试要测的吗？验收标准到底......