Nula nalezených bugů je výhra, ne důkaz nečinnosti

Slyšel jsem to na jedné retrospektivě a od té doby mi to nejde z hlavy. „QA tenhle sprint skoro nic nenašlo, co vlastně dělali?“ Otázka zněla nevinně, ale skrývala se v ní celá zpackaná představa o tom, k čemu kvalita je. Předpokládala, že hodnota testera se měří počtem defektů, které přinese. Čím víc bugů, tím užitečnější tým.

Když se nad tím zamyslíte, je to obrácené vzhůru nohama. Metrika počtu nalezených chyb odměňuje přesně to, co nechceme. Odměňuje pozdní nález, protože defekt, který se dostal až k testerovi, už prošel celým vývojem. A trestá prevenci, protože chyba, která nikdy nevznikla, se do statistiky nezapíše. Tým, který odvede nejlepší možnou práci a nepustí problém dovnitř, podle téhle metriky nedělá nic.

Nula nalezených bugů může znamenat dvě úplně opačné věci. Buď se netestovalo, nebo se to od začátku stavělo tak dobře, že nebylo co najít. Rozdíl mezi těmi dvěma situacemi je obrovský, ale počet defektů ho nezachytí. Metrika, která nedokáže odlišit výhru od zanedbání, není metrika, je to jen číslo, které vypadá objektivně.

Kvalitu je potřeba měřit jazykem rizika, ne jazykem účetnictví defektů. Jaká je pravděpodobnost, že se něco pokazí v části, na které nám nejvíc záleží. Jak dlouho by nám trvalo takový problém odhalit. Kolik by nás stál, kdyby se dostal k zákazníkovi. Tohle jsou otázky, na které chce management znát odpověď, i když si to zatím neumí říct. Počet bugů na žádnou z nich neodpovídá.

Nejlepší QA tým, jaký můžete mít, je paradoxně ten, který na konci vypadá nejnudněji. Žádné dramatické nálezy, žádné hašení požárů, jen release za releasem, které prostě fungují. Pokud takový tým odměňujete podle počtu chyb, které přinese, ptáte se špatně. Podle čeho tedy poznáte, že vaše QA odvádí dobrou práci, když ta nejlepší práce nezanechává skoro žádnou stopu?