Na elke update van een webshop ging er iets mis in de betaalstap. Ik zette een testaanpak op die fouten vindt voordat klanten ze tegenkomen.
Dit is een voorbeeldcase. Het project is verzonnen om te laten zien hoe ik een case opbouw; mijn eigen werk volgt binnenkort.
De webshop bracht elke twee weken een update uit. Bijna elke keer brak er iets in de checkout: een kortingscode die niet werkte, of een betaalmethode die verdween. Klanten merkten het eerder dan het team.
Testen gebeurde met de hand, op het laatste moment, en kostte twee volle dagen per release.
Samen met het team bepaalde ik welke delen van de checkout het meest gebruikt worden en het vaakst kapotgaan. Daar begon het testen.
Ik schreef 64 testcases voor de belangrijkste routes: betalen met iDEAL en creditcard, kortingscodes, verzendopties en foutmeldingen.
De 40 belangrijkste testcases zette ik om naar geautomatiseerde tests die bij elke nieuwe versie vanzelf draaien.
Naast de vaste tests zocht ik in korte sessies gericht naar wat niemand had bedacht, zoals een mobiele browser die het adresformulier anders invult.
Welke tests automatiseer je eerst, als je niet alles tegelijk kunt doen?
Waarom: Uit de risicoanalyse bleek dat bijna alle fouten van het afgelopen jaar in die drie routes zaten. Door daar te beginnen, ving de eerste versie van de testset na twee weken al een echte bug.
Een geanonimiseerde testcase, het bugrapport dat eruit volgde en de uitkomst van een regressierun.
Regressierun versie 2.15
Duur: 25 minuten
Beide mislukte tests waren bekende problemen met een eigen bugrapport.
Gemeten over de drie releases na de start van de geautomatiseerde tests, op basis van Jira en de testrapporten.
Het team brengt nu updates uit zonder angst voor de checkout, en de tests draaien automatisch mee bij elke wijziging.
Beginnen bij de risico's. Daardoor leverde de testset al vroeg iets op en kreeg ik het team mee.
Ik zou de testdata eerder regelen. De eerste weken faalden tests soms door een lege testomgeving in plaats van door echte bugs, en dat kostte vertrouwen.
Een goed bugrapport is net zo belangrijk als de bug vinden. Met duidelijke stappen, schermafbeeldingen en het verwachte gedrag losten developers fouten veel sneller op.
Stuur me een bericht. Ik reageer meestal binnen twee werkdagen.
raoufouaziz@