Gebruikersonderzoek
Probleem
Ontwerpers kunnen de invulproblemen van burgers moeilijk inschatten
Oplossing
Laat het formulier door enkele personen uit de doelgroep invullen terwijl zij hardop nadenken, en gebruik de resultaten om het formulier te verbeteren.
- 1. Laat het formulier in een pretest invullen door een steekproef van de toekomstige gebruikers
- 2. Gebruik minimaal 5 proefpersonen voor een beperkte test en minimaal 20 proefpersonen voor een grootschalige test
- 3. Werk met een realistische versie van het formulier, ook qua vormgeving
- 4. Analyseer de resultaten van het gebruikersonderzoek
- 5. Maak een lijst met verbetermogelijkheden
Wanneer
Als de overheidsorganisatie de problemen wil achterhalen die zich voordoen bij het invullen van het formulier.
Achtergrond
Ondanks een zorgvuldig ontwerpproces kunnen invullers tegen problemen aanlopen tijdens het invullen van een formulier. Uiteraard kunnen deze problemen het beste worden ontdekt voordat het formulier in omloop gaat (Gaffney, 2009, p. 4). Een kwaliteitscontrole in de vorm van een pretest met proefpersonen uit de doelgroep kan licht werpen op invulproblemen waarbij ontwerpers niet stilstaan (Jansen, 1987, p. 10). Met de gegevens uit dergelijk gebruikersonderzoek kan het formulier worden aangepast (Jansen e.a., 1989, p. 193). Dit kan leiden tot effectievere communicatiemiddelen (Jarrett & Gaffney, 2008, p. 174; Fichter, 2003). Het hardopdenken is een eenvoudige, kleinschalige pretestmethode die erg nuttige informatie oplevert over praktijkproblemen van het formulier (Jansen e.a., 1989). Uit onderzoek van Haak, Jong en Schellens (2002) blijkt dat synchrone (hardopdenken tijdens de taakuitvoering) en retrospectieve (verbaliseren van gedachten achteraf) hardopdenkprotocollen kunnen worden beschouwd als gelijkwaardige maar duidelijk verschillende evaluatiemethoden (p. 250). Een argument voor het gebruik van retrospectieve hardopdenkprotocollen is dat ze minder gevoelig zijn voor de invloed van taakcomplexiteit (p. 250). Volgens Dillman (2000, p. 142) bestaat de mogelijkheid dat proefpersonen bij synchroon hardop denken hun aandacht verdelen tussen de testleider en het formulier, of dat ze langzamer gaan lezen. Hierdoor vullen ze het formulier anders in dan ze normaalgesproken zouden doen. Dit kan vermeden worden door de proefpersoon in stilte het formulier te laten invullen, terwijl de testleider observeert en aantekeningen maakt, en achteraf vragen stelt (Dillman, 2000, p. 142). Een andere mogelijkheid is om gegevens uit synchroon hardopdenken aan te vullen door een nagesprek te houden (Jansen e.a., 1989). Jansen en Steehouder (1989) gebruikten in hun onderzoek naar overheidsformulieren een combinatie van vier cognitief-psychologische onderzoeksmethoden: hardopdenken, gedragsobservatie tijdens het invullen, productanalyse (analyse van fouten in de ingevulde formulieren) en interviews met de respondenten na afloop. Meer voorbeelden: Voor instructies voor het uitvoeren van hardopdenk usability testen: - Formulierenwijzer. Handboek formulieren redigeren. Door Jansen, Steehouder, Edens, Mulder, Maat en Slot, 1989 - ‘Protocol analysis: Verbal reports as data’ door Ericksson & Simon, 1993 - ‘Usability engineering’ door Nielsen, 1993 - ‘Handbook of usability testing: How to plan, design, and conduct effective tests.’ door Rubin, 1994 - ‘A practical guide to usability testing.’ door Dumas & Redish, 1999 - ‘Usability testing and research.’ door Barnum, 2002 - ‘Mail and Internet Surveys. The tailored design Method.’ door Dillman, 2000, p.141 – 146 (inclusief voorbeeldprotocolen voor hardopdenk onderzoek) - Lees ook over andere pretestmethodes voor formulieren: Checklist Expertanalyse Praktijkonderzoek