A/B-testing voor webshops: Weet wat je meet!

Het versturen van digitale nieuwsbrieven met daarin speciale aanbiedingen en last minutes acties is een goede manier om als webshop je sales een boost te geven. Door verschillende versies van de nieuwsbrief te maken en deze te testen, kom je er achter welke nieuwsbrief het beste resultaat genereert. Maar wat is het beste resultaat: een open rate, het klikgedrag, het aantal artikelen verkocht of de totale orderwaarde?

A/B(C)- of splittesten

De betere ESP heeft in zijn tool ook een functie waarbij nieuwsbrieven van te voren getest kunnen worden. Dit gebeurt door een klein percentage van je mailbestand te selecteren, die een aantal verschillende versies van een nieuwsbrief te zien krijgen. De nieuwsbrief met de beste uitkomst wordt naar de rest van het mailbestand gestuurd.

Je kan een A/B-test voor verschillende criteria inzetten, onder andere voor:

• Onderwerpregel
• Afzendernaam
• Datum en tijdstip van verzenden
• Plaatjes en content van je nieuwsbrief

Door 2 tot 5 verschillende  lay-outs te maken, kunnen de procentuele verschillen in bovenstaande criteria soms erg groot zijn. Verschillende cases hebben aangetoond dat een andere onderwerpregel of afzendernaam een grote positieve invloed kan hebben op de open rate.  Maar pas ook op, een wervende onderwerpregel kan wel tot een hogere open rate leiden, maar is geen garantie voor veel meer klikgedrag.

Maar dan…?

Waar ga je op meten, wat heeft prioriteit naar aanleiding van de verstuurde nieuwsbrief? Een open rate? Zoals Michael Linthorst in een eerder artikel al aangaf, kleven hier zeker ook nadelen aan en is een open rate niet heilig. Je zou ook een click rate in kunnen stellen om de uitkomsten te meten, dat geeft tenminste aan welke lezers actief zijn. Maar voor webshops kan je nog verder gaan. Je bij een A/B-test ook instellen dat je wilt meten hoeveel producten er per nieuwsbrief verkocht zijn. Of om nog een stapje verder te gaan: wat was de totale orderwaarde van de verkochte producten? Misschien genereren 15 bepaalde artikelen uit je webshop veel meer inkomsten dan 30 andere artikelen.

Een voorbeeld

Hierbij een voorbeeld van een  electronicaconcern dat voor haar mailings bijna altijd splittesten uitvoert. Voor een mailing naar een bestand van een kleine 80.000 subscribers wilden ze meten wat de verschillen waren in het uiteindelijke aankoopgedrag, wanneer de mailing op verschillende tijdstippen op dinsdag werd verstuurd. Ze bepaalden 4 tijdstippen wanneer de mailing verstuurd moest worden, waarbij op ieder tijdstip at random 2.5% van hun mailinglijst werd gemaild. Om de uiteindelijke conversie te meten, namen ze een tijdsspanne van een week in acht, voordat ze de resultaten gingen vergelijken. De uitkomst van deze mailing staat hieronder.

Interessant aan deze mailing was dat hoewel de open-rate het hoogst was wanneer de mailing om 09.00 werd verstuurd, de uiteindelijke conversie een goede 60% hoger lag bij de mailing van 11.30.  Natuurlijk zijn deze aantallen relatief laag. Daardoor krijg je bij 1 aankoop meer of minder al direct een groot procentueel verschil, maar toch waren de verschillen significant.  Ook de hoeveelheid in het winkelmandje was aanzienlijk groter om 11.30. De groep die uiteindelijk het gewenste product niet kocht, kreeg een week later een herinneringsmail om zijn of haar aankoop af te ronden.

Blijkbaar was het mailen voor de lunchpauze een goede manier om daadwerkelijke kopers te benaderen, omdat zij de tijd hadden om het salesproces af te ronden. Dat zie je ook terug bij de mail van 5pm. Een relatief lage open-rate, maar toch een uiteindelijk hoge conversie.

De uiteindelijke keuze

De keuze viel uiteindelijk op 11.30am, en de resterende 70.000 subscribers kregen de volgende dinsdag erop keurig om 11.30 am de mail. Saillant detail aan deze case was dat de totale orderwaarde hoger was toen de mail om 5 uur ’s middags werd verstuurd, maar omdat de aantallen niet dusdanig waren, was dat geen doorslaggevende factor.

Hieronder een  overzicht van de uiteindelijke sales funnel, die een webshop kan creëren wanneer het een goede e-mailmarketingtool in combinatie met een analysetool als Omniture, Sitestat, Snoobi (winnaar Red Herring Europa 2010) of Google Analytics gebruikt.

Nadelen van A/B-testen

Zoals hierboven aangegeven kan een A/B-test een veel hogere conversie opleveren ten aanzien van het gewenste resultaat. Maar er zijn zeker ook een aantal nadelen waarmee rekening moet worden gehouden.

1. In sommige gevallen zijn de verschillen zo klein, dat een winnaar aanwijzen erg lastig is. Wat doe je in dat geval? Een optie is om een andere variabele te meten. Stel dat verschillende onderwerpregels  geen duidelijk verschil geven, probeer dan de te testen op content of afzendernaam.
2. De grootte van de mailinglijst. Wanneer je een mailbestand van 1.000 adressen hebt, dan moet je je afvragen of een splittest naar 5% van deze groep wel zin heeft en de juiste uitkomst geeft. Hoe hoger het volume, hoe nauwkeuriger de uitkomst.
3. Onze grootste vijand…… tijd. Het goed testen van verschillende designs kan erg tijdrovend zijn. Er moeten meerdere versies aangemaakt worden en voor de uiteindelijke uitkomsten dient normaal gesproken minimaal een week in acht genomen te worden. Een mailing na een dag proberen te beoordelen geeft namelijk geen goed beeld.

Bepaal je strategie

Uiteindelijk moet je voor jezelf bepalen waar je op wilt meten. Is het belangrijk dat zoveel mogelijk mensen een nieuwsbrief lezen? Zorg dan dat je open-en click rates meet. Wil je zoveel mogelijk verkopen? Ga dan voor de uitkomst die de hoogste omzet oplevert. Je kunt ook de gulden middenweg selecteren en voor de optie gaan waarbij het klikgedrag en de uiteindelijke conversie allebei relatief hoog waren. Sowieso kan testen geen kwaad, het ergste wat er kan gebeuren is dat verschillende designs, tijdstippen, afzendernamen of onderwerpregels geen meetbaar effect hebben op het lees-en klikgedrag. Als dat het geval is dan heb je of een schare hele trouwe lezers, die je nieuwsbrief ongeacht de onderwerpregel lezen, of het is tijd voor een nieuwe look & feel omdat je nieuwsbrief bijna niet gelezen wordt. In dat geval kom je vroeger of later toch weer bij een splittest terecht.