【老司机开车了!】自动化测试老司机吐血分享KPI经验

发布于 2017-11-07 | 作者: | 来源: | 转载于:

背景:

      A不才,曾于2009年入职某业界著名开源软件公司,并从头开始一手组建了该公司大中国区第一个自动化测试团队,担任该团队负责人三年多的时光。2012年,一揽子开发成果(分布式测试框架、若干自动化测试脚本)被世界500强之一的某国内大鳄购买。也算是对得起弟兄们那些年的努力。

思路(重点):

      首先,那时自动化测试还十分高冷,非产品驱动型的软件巨头不玩。自动化测试团队也多数被称为“测试开发团队”,亦称“SDET”。这样一来,决定了自动化测试团队的任务基本精简到两个:开发、测试。两者不是排名不分先后,而是严格按照“开发为主、测试为辅”来的——以示有别于传统的“测试团队”(那时的测试团队只是手动测试)。而那时“UnitTest”(单元测试)则纯粹是开发工程师的炫技。

    ArthurGuo语:一个项目开始前一定要界定项目范围,否则“没有范围的项目管理,都是耍流氓”。每个团队一定要清楚自己的责任、使命。玩“跨界”、搞“出位”也是要首先有个自己的本行,否则从哪里,从哪里

其次,“开发”什么?“测试”什么?“开发”自动化测试框架、自动化测试工具、自动化测试用例。不要担心重复发明轮子,先研究一下现有轮子哪里不好,明白能改进什么,再动手不迟。就算是重复了一个小小轮子,很多时候也是起到练兵作用。

“测试”:用前面说的,框架、工具去组织、分配、执行自动化测试用例进行测试。测试过程或者团队自己执行,或者交给别的团队(如手工测试团队)去执行。【敲黑板!】这两点决定了KPI方向的不同!

 

然后,开发完了该干嘛?使用!——这是废话!不为了使用而进行的开发都是浪费!

问:“独乐了,与众乐乐,孰乐?”

答:“大家好!才是真的好!”

推广很重要!当时,老A团队的弟兄们(姐妹也被当兄弟一样干活儿)完成了第一个稳定版本(GAGenerally Available)后,培(cha)训(hua)季(hui)就跟着开始了。老A撸起袖子上台开讲。需求、bug来了,团队成员分别跟进,一个字——。那时老A的团队不允许刚开始就说应该怎么用…其实是这样的…”,内部用户也是用户。上来就说“no”,那就然后没有然后了。有几次甚至是一场培训还没结束,几个手快的弟兄就已经把bug fix推上线了,您刷新一下页面就能看到您说的问题已经修复。

推广的同时,团队成员分组支持各个内部用户

最后其实永远没有最后,一个简单至极的道理——“保鲜ArthurGuo语:搞产品必须使用一代,研发一代,展望一代。除了满足需求,框架、工具要加入新功能,测试用例加入新内容。向客户学习习惯,向同行学习经验,向对手学习思路。

 

KPI制定:

      至于具体叫“KPI”也好,叫“ORI”也罢,总归是考评标准。SMART原则(S=SpecificM=MeasurableA=AttainableR=RelevantT=Time-bound)。

     1.既然是开发为主的团队,那么对于开发测试框架、开发测试工具的工作,大部分开发团队的指标都可以直接拿过来使用。开发团队指标这里不再赘述。

只补充一点:团队当时按照Scrum方式组织研发活动,每个Sprint会有故事点评估;然后团队成员自己认领;Sprint Review时判断Go/No-go。成功故事点累计到各人,是一个客观、量化的评估标准。研发团队可以参考之。

     2.对于开发测试用例(如今流行叫测试脚本)的工作,包括但不仅限于这么几个考察点:

a)  测试用例互不影响,相互隔离的;

b)  自动化测试中被测功能是互不影响的;

c)  自动化测试能够快速定位bug位置;

d)  测试用例是易于阅读的,能帮助理解产品的;

e)  测试用例是易于编写的(精炼),易于维护的(清晰)以及易于扩展的;

当然,还可以加上数量这个维度,老A当时的做法是放到了保鲜创新里面,后面详述。

  3.自己是否具体执行测试,直接分为两个维度来评估。自己不执行测试的,忽略本段。自己需要执行测试的,那么覆盖率、是否漏测等等,完全可以参考手动测试KPI

  4.用户满意度,很主观的一个指标。既然开发出产品了,又要提供支持,就必须加上这一项。至于是360度评估?还是匿名打分?各种形式都可以。只是权重别放高了。

  5.保鲜和创新,对于自动化测试或者测试开发团队,这一点是至关重要的!

     ArthurGuo语:技术决定站多高,创新决定走多远。

  每个季度,老A团队每个成员都有硬指标,必须引入多少个新的测试用例或者测试套件(自动化测试脚本集)。如果出现两个人都引入同样的,那么以先check-in的为准。平时必须营造正能量的团队气氛,同时良好的沟通,都可以抵消这种方法的“负面影响

  6.推广加分。在当时的情况下,老A针对公司文化、团队特点给出的特殊的加分项,而且不设上限,没完成不扣分(毕竟不是所有人都能张得开嘴)。当时,是出现过KPI打分超100%的情况的。

 

总之:

思路是第一重要的!没有之一!

笼统的问题,可以通过一系列问答,限定范围,再逐个分解,见招拆招。技术上的笼统问题,切忌笼统问题,笼统回答,说得文艺点儿:

“黑夜给了我黑色的眼睛,我要用它来寻找光明。”

黑是混沌的、笼统的,光则可以分色、分波长、分频段、分……

不是吗?~^_^~

 

BTW,收购那事,收益是公司的,佣金是销售的,老A收获的是经验和客户的认可