‘Data zijn belangrijker dan mensen’

Grote ondernemingen beschikken doorgaans over een Research & Development-afdeling om te experimenteren. Schieten ze daarmee tekort?
In zekere zin wel. De noodzaak om te testen komt voort uit onzekerheid, en die manifesteert zich in meer vormen dan R&D alleen. Bijvoorbeeld op het gebied van klanten, die vaak niet weten wat ze willen of nodig hebben. Of als het gaat om de vraag hoeveel je moet investeren om een nieuwe markt te betreden. Het is bovendien een misverstand dat innovatie vooral een kwestie is van creatieve disruptie. Doorbraken zijn weliswaar belangrijk, maar economische groei komt voor het overgrote deel van minimale verbeteringen van bestaande producten of diensten. Helemaal in de digitale wereld, waar bedrijven al snel op enorme schaal werken. Kleine, ogenschijnlijk triviale aanpassingen, zoals de keuze van een font of de kleur van een internetknop, kunnen dramatische effecten hebben op omzet en doorklikratio's. Het idee is dan ook om het uitvoeren van testen uit de onderzoekswereld te halen, zodat élke vorm van vernieuwing op een geïnformeerde manier onderbouwd kan worden.

Van oudsher vertrouwen veel managers bij dit soort beslissingen op hun ervaring en intuïtie.
Wat vaak een averechtse uitwerking blijkt te hebben. Ervaring is namelijk een weerslag van het verleden, terwijl innovaties zich per definitie richten op een onbekende toekomst. Je hoeft wat dat betreft alleen maar te kijken naar Apple-bestuurder Ron Johnson, de man achter de Apple Store en de Genius Bar. Die stapte in 2011 over op warenhuisketen J.C. Penney om het trucje te herhalen, en mislukte daarbij jammerlijk. De marketingtechnieken die zo'n succes hadden bij de vermogende fans van Apple bleken namelijk onacceptabel voor de koopjesjagende klanten van Penney.

Kunnen managers zich wat dat betreft niet beter laten leiden door big data?
Daar treedt eenzelfde probleem op. Hoe vernieuwender de innovatie, hoe kleiner de kans dat er al betrouwbare informatie over bestaat. Big data zijn bovendien context-gebonden en tonen vaak correlaties aan, terwijl je juist wil weten waaróm een bepaalde verandering werkt of niet. De enige manier om tot dergelijke inzichten te komen is door middel van een goed uitgevoerd experiment.

Hoe ziet zo'n test eruit?
Het is cruciaal dat je de principes van de wetenschappelijke methode volgt. Dit houdt onder meer in dat je een falsificeerbare hypothese hebt die je probeert te bewijzen met een proef- en een controlegroep. Stel, je hebt een restaurant en je wil je omzet verhogen met een menu-wijziging. Je zou er voor kunnen kiezen om het een maand met de huidige, en een maand met een nieuwe kaart te proberen, en de resultaten vervolgens te vergelijken. Het probleem is alleen dat er in de onderliggende periode allerlei andere dingen veranderd kunnen zijn die niets met het menu te maken hebben, zoals het weer, of het aantal vrije dagen dat mensen hebben. Dus zou je moeten kijken of je je restaurant in twee identieke helften kan opsplitsen, waarbij je bijvoorbeeld via het opgooien van een muntje beslist welke gast waar gaat eten.

Het type experiment dat u zojuist schetste werkt in een fysieke omgeving. Het meeste klantcontact vindt inmiddels plaats via internet.
Een gebrek aan technologische kennis is het probleem niet. Dankzij betaalbare en toegankelijke software zijn online A/B testen voor iedereen binnen handbereik. De bottleneck zit hem vaak in het opschalingsproces: hoe creëer je een cultuur waarin grootschalig experimenteren net zo gewoon is als het bijhouden van de boekhouding? Zo'n lerende organisatie begint met het cultiveren van nieuwsgierigheid, want elke hypothese begint met een vraag. Ook moet je zorgen voor een omgeving waarin data belangrijker zijn dan meningen, omdat niet iedereen zich intuïtief in een bepaalde uitslag zal kunnen vinden. Experimenten dienen bovendien een ethische basis te hebben en moeten daarnaast zo laagdrempelig mogelijk zijn. Grote internetbedrijven als Facebook, Google, en Booking.com voeren bijvoorbeeld tienduizenden testen per jaar uit, en dat is onmogelijk als je elke keer om toestemming van je baas moet vragen. Al die veranderingen vereisen een bepaald soort leider: iemand die de lat hoog durft te leggen en tegelijkertijd bescheiden genoeg is om toe te geven het zelf ook niet altijd te weten.

U noemde zojuist de Nederlandse reissite Booking.com, waarop u uw boek voor een deel heeft gebaseerd. Het bedrijf heeft inmiddels staatssteun moeten aanvragen vanwege de coronacrisis. Is er een grens aan wat grootschalig testen mogelijk maakt?
Booking.com opereert in een sector die als geen ander is getroffen door het coronavirus, waardoor het niet meer dan logisch is dat het bedrijf in de problemen is gekomen. De bestuurders staan momenteel voor de keus: wachten ze tot de markt weer aantrekt, of gooien ze het roer radicaal om met een nieuw ondernemingsmodel? Beide scenario's gaan gepaard met een enorme onzekerheid. Maar als één onderneming de capaciteit heeft om haar opties te testen, dan is het Booking wel.

Ook overheden lijken zich inmiddels bewust van het belang van experimenteren.
In ieder geval de landen die de crisis momenteel het best onder controle hebben. Dat is een van de weinige goede dingen die corona heeft voortgebracht: in de afgelopen twee maanden heb ik meer gelezen over de noodzaak om te testen dan in de vijfentwintig jaar daarvoor. De wetenschap heeft zeker niet alle antwoorden, maar ze helpt ons op zijn minst een objectieve inschatting te maken van potentiële oplossingen en bijkomende risico's.

Tegelijkertijd staan we aan de vooravond van de grootste recessie van de aflopen honderd jaar. Hoe voorkom je als manager dat je budget om te testen als eerste verdwijnt?
Door erop te wijzen dat bezuinigingen weliswaar wat lucht geven op de korte termijn, maar dat je daar jaren later een hoge prijs voor moet betalen. Wat dat betreft hoef je alleen maar te kijken naar de economische crisis van 2008: bedrijven die bleven experimenteren kwamen veel beter uit de recessie dan bestuurders die hard op de rem gingen staan.