Filter
ChatGPT Hoe betrouwbaar is het gebruik van AI in eye tracking? [onderzoek]
Hoe betrouwbaar is het gebruik van AI in neuromarketing? Met onderzoek hebben we geprobeerd deze vraag te beantwoorden. We hebben de resultaten van AI-modellen voor eye tracking vergeleken met de resultaten van echte deelnemers.
In februari en maart 2023 interviewden onderzoekers van Thomas More in het kader van het TETRA-onderzoeksproject ‘Neuromarketing’ medewerkers van 13 verschillende Belgische bedrijven uit de begeleidingsgroep. Uit de interviews blijkt dat bedrijven interesse hebben in meer informatie over nieuwe technieken, waaronder het gebruik van AI in neuromarketing. Ze overwegen mogelijk ook hiermee te starten. De reden achter deze prioriteit is de schaalbaarheid die het gebruik van AI biedt.
Aan dit artikel schreven ook mee: Dieter Struyf, Nele De Witte en Audrey Verrall.
Eerder onderzoek in het project
In een eerder onderzoek in het project, hebben we zes reclamevideo’s geanalyseerd met behulp van vier verschillende neuromarketingtechnieken: eye tracking, gelaatsexpressies, huidgeleiding en EEG. Hieruit kunnen we concluderen dat eye tracking op zichzelf een toegankelijke techniek is voor het meten van visuele aandacht en betrokkenheid.
Vanwege de interesse van bedrijven in schaalbare technieken hebben wij besloten om het onderzoeksproject verder te focussen op het testen van AI-modellen voor eye tracking. Dit werd in twee stappen uitgevoerd om antwoord te geven op twee vragen:
- Is predictive eye tracking vergelijkbaar met eye tracking waarin echte deelnemers participeren?
- Wat is de evaluatie van predictive eye tracking bij A/B-tests?
1. Is predictive eye tracking vergelijkbaar met eye tracking waarin echte deelnemers participeren?
In de eerste stap hebben wij de eye tracking-reacties op de video’s van het vorige onderzoek geanalyseerd. Met behulp van twee verschillende aanbieders van predictive AI-modellen: Neurons en Brainsight. Hoewel deze aanbieders verschillende metrics gebruiken, beschikken ze allebei over algoritmes getraind op een uitgebreide en specifieke dataset om te voorspellen waar mensen mogelijk naar kijken.
Zo bieden zij heat maps en andere metrics aan, zoals ‘Clarity‘. Deze duidt aan hoe gemakkelijk het voor kijkers is om de belangrijkste informatie te scannen in een beeld. Het doel was om de resultaten van deze aanbieders te vergelijken met die van traditionele eye tracking met echte deelnemers. Dit om te beoordelen of het gebruik van AI-modellen even goed presteert.
Bij het vergelijken van de resultaten blijkt dat deze in lijn liggen met de gegevens verzameld door traditionele eye tracking met echte deelnemers. Toch komen er biases voor bij het gebruik van AI-modellen. Hieronder bespreken wij de drie belangrijkste biases die wij zijn tegengekomen.
1. Logo’s of de naam van het merk
Ten eerste voorspellen de AI-modellen dat de aandacht eerder zal gaan naar het logo of de naam van het merk. Terwijl echte deelnemers ook andere elementen zouden waarnemen.
2. Gezichten van personen
Er valt ook een bias op te merken naar gezichten. Zoals te zien is in de volgende foto’s, is de heatmap van AI-modellen gefocust op de gezichten van de personen in de video. Maar echte mensen merken ook andere elementen op.
3. Nadruk op het midden
Daarnaast leggen de heatmaps die door AI-modellen worden gemaakt vaak te veel nadruk op het midden als het model geen andere elementen waarneemt om zijn voorspelling op te baseren. In de volgende foto’s zien we ook een kleine bias met betrekking tot de merknaam.
2. Wat is de evaluatie van predictive eye tracking bij A/B-tests?
In de tweede stap hebben wij een A/B-test uitgevoerd met behulp van AI-modellen voor eye tracking. Deze campagnes zijn ook in de praktijk door de bedrijven zelf getest. Bijvoorbeeld door het publiceren van twee versies van een campagne gedurende dezelfde periode op social media. Het doel was om de resultaten te vergelijken en te zien hoe AI-modellen voorspellingen doen bij een A/B-test.
Dit onderdeel van het onderzoek laat zien dat de voorspellingen van predictive eye tracking-tools in lijn liggen met het succes van campagnes in de echte wereld. AI-modellen kunnen waardevolle informatie bieden zonder de noodzaak van het uitvoeren van een A/B-test in de echte wereld. Dat zou tijd en kosten besparen.
Er zijn echter beperkingen bij het gebruik van AI-modellen voor A/B-tests. De huidige predictive eye tracking analyseert visuele elementen. Teksten kunnen ze niet lezen, daarom kunnen ze geen aanvullende informatie bieden over het verschil tussen twee versies van een e-mail. Dit kan ook het geval zijn bij posters die minder visueel zijn en meer tekst bevatten. Of als de visuals geen groot verschil vertonen. In zulke gevallen kan je je dus afvragen of het momenteel de moeite waard is om te investeren in predictive eye tracking. Of kun je je campagne beter aan de hand van traditionele marketingtheorieën evalueren?
Hoewel AI een schaalbare optie is en waardevolle informatie kan bieden, is het belangrijk om de biases en beperkingen hiervan te verkennen. De biases bij het gebruik van AI voor eye tracking zijn onder andere de neiging om meer aandacht te voorspellen voor gezichten, merknamen en het midden van video’s. Dat moeten bedrijven bij hun analyses in overweging nemen. Daarnaast kan AI efficiënter zijn voor het testen van visuele campagnes of inhoud in plaats van tekstuele.
Over de auteurs
