Is de bandit-methode een verbetering op de klassieke methode van A/B-testen?

Abstract

In dit onderzoek zijn twee manieren van A/B-testen met elkaar vergeleken. A/B-testen is het vergelijken van verschillende website versies om te achterhalen welke versie voor een hogere opbrengt zorgt. Consumenten krijgen afzonderlijk meerdere versies van een website te zien: versie A, versie B, versie C, et cetera. De websites verschillen op basis van één onderscheidend kenmerk van elkaar.
De twee manieren van A/B-testen zijn de klassieke methode en de meer recent ontwikkelde bandit-methode. In de klassieke methode van A/B-testen krijgen meerdere groepen van consumenten de verschillende versies van de website te zien en wordt achteraf bepaald welke website versie de betere versie is op basis van het aantal conversies (conversies zijn bijvoorbeeld aankopen, clicks, et cetera). Het nadeel van deze test is dat je pas achteraf weet welke website de hoogste opbrengst oplevert, terwijl deze uitkomst misschien al tijdens de steekproef duidelijk wordt. De bandit-methode heeft meerdere varianten, waarvan vijf varianten in dit onderzoek zijn onderzocht en vergeleken. De bandit-methode van A/B-testen blijft gedurende de steekproef de groep consumenten die naar de verschillende versies van de website gestuurd worden aanpassen zodat al tijdens het testen zo min mogelijk consumenten naar de slechter presterende website gestuurd worden. Dit betekent namelijk misgelopen opbrengsten, ook wel spijt in A/B-testen. In dit onderzoek wordt daarom de klassieke methode vergeleken met een vijftal bandit-methoden.
Aan de hand van een gesimuleerde steekproef en drie fictieve versies van een website (A,B en C) worden de uitkomsten van de zes methoden op basis van statistische analyses vergeleken. De analyses zijn in RStudio geprogrammeerd en uitgevoerd. Hieruit blijkt dat, alhoewel alle zes de methoden uiteindelijk de best presterende versie kunnen aanwijzen, er duidelijke verschillen zichtbaar zijn in de totale conversies en de spijt. De bandit-methode verbetert op die onderdelen de klassieke methode. Daarnaast zijn er aanwijzingen dat de bandit-methoden de verschillende conversieratio’s van de website versies eerder statistisch significant kunnen aantonen.