Megastudies: dé tool voor meer inzicht in gedrag

Sociale wetenschappers onderzoeken met megastudies welke technieken het beste werken om gedrag te beïnvloeden. Ook marketeers in de praktijk kunnen hun voordeel doen met deze openbare studies.

Zelf zijn hoogleraren Katy Milkman en Angela Duckworth van de Universiteit van Pennsylvania en van Behavior Change For Good enthousiast over megastudies. Op grote schaal testen ze met een megastudie de effecten van veel verschillende interventies. Dit doen ze op een objectief vastgestelde uitkomst bij dezelfde populatie en gedurende dezelfde tijd. Bijvoorbeeld rondom de vraag: hoe krijgen we mensen vaker naar de sportschool?

Wat houdt ‘op grote schaal’ in?

Voor academici is grote schaal: met tienduizenden deelnemers. Voor een beetje online marketeer zijn dat aantallen die hij of zij per week in lopende online experimenten voorbij ziet komen. En voor Google en Facebook zijn dat waarschijnlijk responsaantallen die ze in minuten halen. Alleen: commerciële partijen delen hun bevindingen niet. Je wil de concurrentie natuurlijk niet wijzer maken. En ook kan het tot ophef en negatieve publiciteit leiden, zoals Facebook in 2014 ondervond. Ze publiceerden toen over emotionele besmetting via sociale netwerken en hadden voor hun experimenten de tijdslijn van gebruikers gemanipuleerd. Dat experiment omvatte overigens bijna 700.000 gebruikers.

Denkkracht en openbaarheid

Dus van de aantallen moeten megastudies het niet per se hebben, maar wel van de denkkracht en de transparantie. In een megastudie draaien tientallen interventies mee die zijn ontwikkeld door meerdere, verschillende onderzoeksgroepen. De hypotheses ten grondslag aan de interventies zijn vaak gebaseerd op bestaande psychologische literatuur en bouwen daarop voort. De online marketeer hoeft dus niet zelf alle wetenschappelijke literatuur door te ploegen maar kan meeliften op de literatuurstudie van academici.

En, doordat alle resultaten en methoden gepubliceerd zijn, zien we direct wat kennelijk wel effectief is en wat niet. Die inzichten kun je dan in eigen testen meenemen om te zien of wat het beste werkte in de megastudie, zich ook vertaalt naar jouw organisatie.

Vaccinatie nudge

Een megastudie van Milkman, Duckworth en anderen verscheen in mei 2021 en heette: A megastudy of text-based nudges encouraging patients to get vaccinated at an upcoming doctor’s appointment. Deze megastudie was een groot veldexperiment (N = 47.306) waarin 19 verschillende nudges per SMS zijn getest om mensen zich te laten vaccineren tegen griep. Wat was de best scorende tekst? ‘Er ligt een vaccin tegen griep voor u klaar.’ Deze werd 3 dagen en 1 dag voor de afspraak verstuurd. De vaccinatiegraad nam daardoor 4,6 procentpunt toe.

In dit experiment was een humoristische interventie een van de minst effectieve nudges. Dit ging om de grap die een hond aan een kat vertelt. Dit leidde nauwelijks tot meer griepprikken.

In Rijk aan gedragsinzichten 2021 (pagina 29) beschrijft het Corona Gedragsteam dat ze deze uitkomsten al toepast in uitnodigingsbrieven. Ze gebruikten de zin ‘Er ligt een vaccin tegen Corona voor u klaar’ omdat vermelding van psychologisch eigenaarschap bijdraagt. Goed te zien dat de Nederlandse praktijk relevante resultaten uit megastudies al snel oppakt.

Verhoog sportschoolbezoek

Eind 2021 verscheen in het prestigieuze wetenschappelijke tijdschrif Nature van Milkman en anderen ‘Megastudies improve the impact of applied behavioural science‘ (betaalmuur). Hoe krijg je mensen vaker naar de sportschool? 30 wetenschappers van 15 universiteiten ontwikkelden 54 interventies die 4 weken lang getest zijn op 61.293 leden van Amerikaanse sportschoolketen 24 Hour Fitness.

Het best scoorde een kleine bonus ($0,09) als iemand weer ging sporten na een gemiste workout. Deze groep ging 0,4 keer per week vaker naar de sportschool dan de controlegroep (27% toename). Een ‘platte’ beloning (cash rewards) zorgde ook voor meer sportschoolbezoek. Ook planning prompts om vaste afspraken in een agenda te zetten, hielpen om goede voornemens na te komen. Andere succesvolle interventies maakten gebruik van een sociale norm of van framing. Maar dat is geen garantie voor succes, want de slechts presterende interventie was ook op sociale bewijskracht gebaseerd.

In de grafiek hieronder staat de daadwerkelijke effectiviteit van alle 54 geteste interventies in blauw. In oranje in de grafiek staan de voorspellingen van onder meer wetenschappers en praktijkexperts.

Mocht je wetenschappelijke artikelen te doorwrocht vinden: in onderstaand filmpje legt Katy Milkman het idee achter megastudies uit en behandelt ze ook de uitkomsten van het sportschoolexperiment.

Experts weten het ook niet altijd

De onderzoekers lieten vooraf experts (zoals wetenschappers en praktijkdeskundigen) en leken voorspellen welke interventies het beste zouden werken en hoe sterk. Conclusies van dat voorspel-experiment:

1. De voorspelde effecten zijn veel groter dan in werkelijkheid (de oranje streepjes liggen veel meer naar rechts dan de blauwe streepjes). De voorspellingen waren gemiddeld 9,1 keer te optimistisch.
2. Er lijkt weinig tot geen verband tussen voorspelde effectiviteit en daadwerkelijke effectiviteit. De grafiek is gesorteerd op daadwerkelijke effectiviteit (blauwe streepjes) maar er is geen patroon te zien in de oranje streepjes.

Opvallend genoeg voorspelden de leken (deelnemers van het online panel Prolific) de resultaten zelfs beter dan de experts. Maar geen enkele groep scoorde beter dan puur kans.

Toepassingen

Hoe kun je dit in de praktijk toepassen? Het geeft je ondersteuning om af te wijken van wat de Hippo (Highest Paid Person’s Opinion) vindt: niemand heeft de waarheid in pacht. En de resultaten onderstrepen nogmaals het belang van context waardoor je kansrijke interventies toch vaak zelf empirisch moet testen in de omgeving die belangrijk is voor jou.

Sommige interventies en technieken hebben een grotere kans van slagen, maar niets is zeker en context en uitvoering bepalen het daadwerkelijke effect. Om hindsight bias (Everything is obvious, once you know the answer) te voorkomen, is het ook een goed vooraf voorspellingen vast te leggen. Mogelijk vergroot dat ook de leereffecten.