Kan iedereen altijd hardopdenken? Een onderzoek

De hardopdenkmethode is een veelgebruikte manier om met hulp van proefpersonen de gebruiksvriendelijkheid van websites te testen. Je zet een willekeurige proefpersoon achter de computer, geeft hem een taak en laat hem tegelijkertijd of achteraf zijn gedachten over deze website verbaliseren. Maar is het wel zo eenvoudig? In mijn afstudeeronderzoek onderzocht ik met behulp van een gemeentewebsite op welke manier het type hardopdenkmethode en demografische kenmerken invloed hebben op de taakuitvoering en uitspraken van proefpersonen.

Onderzoeksvraag

Om met de hardopdenkmethode problemen van een website te achterhalen, moeten de taakuitvoering en uitspraken van proefpersonen optimaal zijn. Als persoonskenmerken, zoals het opleidingsniveau van de proefpersoon, of het type hardopdenkmethode de uitkomsten structureel beïnvloeden, ontstaat er een verkeerd beeld van de problemen op de website.

Hebben deze persoonskenmerken en het type hardopdenkmethode inderdaad invloed op de uitkomsten van hardopdenkonderzoek? En hoe kunnen we eventuele ongewenste invloed voorkomen?

Typen hardopdenkmethode

De onderzoeksvraag komt voort uit eerder onderzoek, waaruit bleek dat verschillende typen hardopdenkmethode verschillende effecten hadden op het hardopdenken. Binnen de hardopdenkmethode bestaan verschillende varianten. In mijn onderzoek heb ik synchroon hardopdenken en retrospectief hardopdenken onderzocht.

• Synchroon hardopdenken (concurrent think aloud) is de variant waarbij proefpersonen tijdens het uitvoeren van een taak op een website hun gedachten en handelingen hardop uitspreken. Deze methode geeft daarom het beste beeld van het denkproces van de proefpersoon.
• Bij retrospectief hardopdenken (retrospective think aloud) werken proefpersonen in stilte aan hun taak. Daarom is dit de meest waarheidsgetrouwe methode. Achteraf verwoorden zij hun gedachtegang met behulp van video-opnamen van hun surfgedrag.

Door de uiteenlopende manieren van werken bestaat de kans dat ook de resultaten verschillen. Ik verwachtte bijvoorbeeld dat proefpersonen het bij synchroon hardopdenken moeilijk zouden vinden om een taak uit te voeren en tegelijkertijd hardop te denken (dit brengt een verhoogde cognitieve belasting met zich mee). Bij de retrospectieve methode zou het zo kunnen zijn dat de proefpersonen achteraf alweer vergeten zijn wat ze tijdens de uitvoering van de taak ook alweer precies dachten.

Materiaal: taakuitvoering op gemeentewebsite

Om dit te achterhalen, hebben 40 proefpersonen taken uitgevoerd op de website van de gemeente Nijmegen. 20 proefpersonen voerden de taak uit met de synchrone methode, de overige 20 deden dat met de retrospectieve methode. Bij deze taak gingen de proefpersonen op zoek naar de manieren waarop zij zich als nieuwe bewoner konden inschrijven in de gemeente.

Proefpersonen: gelijke spreiding in leeftijd, geslacht en opleidingsniveau

Een eis die aan de proefpersonen gesteld werd, was dat ze minimaal een keer per week gebruik moesten maken van internet. Beide evaluatiegroepen hadden dezelfde samenstelling: er was een gelijke spreiding in de kenmerken leeftijd, geslacht en opleidingsniveau. Hierbij ging ik uit van de volgende categorieën:

• leeftijd (18-29 / 30-39 / 40-54 / 55+)
• geslacht
• opleidingsniveau (laag / middelbaar / hoog)

De indeling in leeftijd heb ik gekozen vanwege de (verwachte) internetervaring. De jongste generatie is opgegroeid met computers internet, en heeft daarom waarschijnlijk veel ervaring opgedaan met verschillende websites. De middelste categorie maakt ook veel gebruik van internet, maar heeft het gebruik van computers niet van jongs af aan in de vingers. De oudste generatie heeft pas op (veel) latere leeftijd kennisgemaakt met internet, en bezit daarom over het algemeen de minste ervaring en handigheid. Bij een vervolgonderzoek raad ik overigens aan om de internetervaring van proefpersonen vooraf preciezer vast te stellen, omdat uit observaties bleek dat dit grote invloed heeft op het uitvoeren van de taak.

De 20 proefpersonen die de taak uitvoerden met behulp van de synchrone hardopdenkmethode waren tussen de 22 en de 83 jaar oud, met een gemiddelde leeftijd van 42,1. De proefpersonen om de retrospectieve hardopdenkconditie waren tussen de 18 en de 82 jaar oud, met eveneens een gemiddelde leeftijd van 42,1.

Resultaten: weinig effect

Uit mijn onderzoek bleek dat het type hardopdenkmethode geen effect heeft op de uitvoering van de taak. Ook hebben de persoonskenmerken weinig aantoonbare invloed op de taakuitvoering, met uitzondering van de leeftijdscategorieën: de oudste proefpersonen doen significant langer over de taak dan de jongste proefpersonen. Het ontbreken van een duidelijk effect van het type hardopdenkmethode lijkt veroorzaakt te worden door de effecten die ik eerder noemde elkaar opheffen (Van den Haak et al., 2007).

Wel blijkt dat laagopgeleiden zich niet altijd goed in kunnen leven in de taak en moeite hebben met het formuleren van zinvolle uitspraken (ze maken bijvoorbeeld vaker dan hoogopgeleiden zinnen niet af). Maar het gaat te ver om hen uit te sluiten als proefpersoon: dat zij minder duidelijke uitspraken doen betekent niet dat er aan de hand van hun uitspraken geen problemen kunnen worden opgespoord. De resultaten laten echter wel zien dat deze problemen vaak minder belangrijk zijn.

Conclusie: gunstig resultaat

Dit resultaat is gunstig voor toekomstige webevaluaties met de hardopdenkmethode: de gebruikelijke spreiding van persoonskenmerken biedt in principe voldoende houvast voor een betrouwbaar onderzoek. Ook maakt het weinig uit voor welk type hardopdenkmethode je kiest. Mogelijk heeft synchroon hardopdenken dan je voorkeur: deze methode neemt de minste tijd in beslag, en je hebt geen beeldopnameapparatuur nodig (Van den Haak et al., 2007).

Dit afstudeeronderzoek deed ik aan de Universiteit Utrecht o.l.v. Sanne Elling en Leo Lentz. In samenwerking met onderzoekers van de Universiteit Twente onderzoeken zij momenteel aan de hand van gemeentewebsites de bruikbaarheid van webevaluatiemethoden. Ook gaat het onderzoeksprogramma na in hoeverre de combinaties van deze methoden effectief zijn voor het achterhalen van problemen op de websites. Mijn gehele scriptie staat hier (pdf) online. Ook de scripties van Evelien Haas en Elisa van Rooij, die een vergelijkbaar afstudeeronderzoek uitvoerden, zijn hier te vinden.