Hoe ik een A/B-testservice heb gekozen

Het tijdperk van Google Optimize loopt ten einde – Google heeft al aangekondigd dat ze de service in zijn oorspronkelijke vorm tegen 30 september zullen stopzetten. Maar er is goed nieuws (halleluja) – ze hebben ondersteuning voor third-party split-testing toepassingen geïntroduceerd om te integreren met GA4. Dat is waar mijn reis begon.

Ik ben Alex Ignatenko, en ik ben diep ondergedompeld in marketinganalyse. Ik geef advies over datagestuurde besluitvorming, bied begeleiding bij de setup, en help ook met training, het ontwikkelen en implementeren van aangepaste attributiemodellen en A/B-experimenten. Daarbovenop beheer ik een Telegram-kanaal dat gericht is op marketinganalyse, toepasselijk getiteld "Attribution Model".

In de afgelopen maand heb ik me verdiept in een aantal verschillende softwareproducten, waarbij ik ze op de proef stelde met demo's, proefversies en grondige documentanalyse. Mijn doel was om de crème de la crème te vinden, de producten die Google Optimize konden vervangen zonder dat ik zonder ondersteuning kwam te zitten.

Dit artikel is een samengestelde lijst van applicaties voor experimenten en analyses – een opstelling die als haalbare alternatieven voor Google Optimize kan dienen zodra het wordt stopgezet. Dus laten we erin duiken.

Introductie – Belangrijkste Criteria

In de geest van de filosofie van Oscar Wilde hield ik het elegant simpel. Alle functies die ik nodig heb zijn:

• Vloeiende en naadloze integratie met GA4.
• Mogelijkheid om op te zetten en te beheren via GTM.
• Nauwkeurige targeting via dataLayer-variabelen.
• Flexibiliteit om aangepaste JS-gebeurtenissen (via GTM) te configureren als experimentdoelen.
• Een vleugje van een visuele editor zou geen kwaad kunnen.
• Responsieve en behulpzame ondersteuning zou een zegen zijn.
• Capaciteit om 1 miljoen MAU aan te kunnen zonder een financiële crisis te veroorzaken.

8ste Plaats – Eppo

Deze mensen zijn een beetje vreemd. Ik heb drie keer een demo-aanvraag ingediend, en elke keer leek het in het niets te verdwijnen. Uiteindelijk zetten ze me op hun mailinglijst (gelukkig maar). Toen ik op hun e-mail antwoordde met een verzoek om een demo, stuurden ze me een planningslink. Ik heb een tijd geselecteerd, heb de call zoals gepland bijgewoond en heb even gewacht. Ik zweer het, ik deed alles wat ik kon.

7de Plaats – AB Tasty

Een geschatte kostprijs (gebaseerd op trafficgerelateerde vragen) kwam uit op ongeveer $100k per jaar. Trouwens, dat had alles kunnen beslechten. De service leek alles te bieden wat ik zocht en meer, maar het liet de cruciale vraag onbeantwoord – waarom die hoge prijs?

6de Plaats – Optimizely

Hier is een ander product dat zich richt op ondernemingen. Tijdens ons eerste gesprek, een nogal wispelturige "demo"-sessie, werd het grootste deel van onze tijd besteed aan het beantwoorden van kwalificerende vragen. Toen de aandacht naar mijn vragen verschoof, verzekerden ze me dat er een gedetailleerd e-mailantwoord zou volgen. Prima.

En inderdaad, die e-mail kwam in mijn inbox, met opmerkelijk uitgebreide antwoorden. Bijna mijn hele bescheiden checklist werd behandeld. Behalve misschien voor de prijs – een steile $45k per jaar (ik kan een beetje afwijken van het exacte bedrag, maar je hebt het idee – mijn excuses, Optimizely team). Bovendien, vanwege het gebrek aan een proefoptie (die geen onderdeel is van het plan), heb ik het naar de lagere regionen van mijn ranking geduwd.

5de Plaats - Kameleoon

Een fascinerende service. Het komt tegen een iets lagere prijs – volgens mijn vereisten, rond de €35k per jaar – en het bevat een aantal intrigerende (hoewel voor mij niet volledig noodzakelijke) personalisatie- en AI-functies. De managers beweren dat het de snelste reactietijd in de branche heeft en de minste impact op het knipperende effect.

Vriendelijke en beleefde dames maakten een beetje een pauze toen ik vroeg om toegang tot een proefversie. Helaas is die pauze nog steeds aan de gang. Dus, het neemt de 5de plaats in.

4de Plaats - ABsmartly

Een jonge maar behoorlijk indrukwekkende service van mensen die eerder bij Booking.com hebben gewerkt. De demo-call was met mede-oprichter Jonas Alves (ex-Product Owner Experimentation @ Booking), en het was het eerste gesprek tijdens mijn onderzoek waar de andere persoon zich niet te veel richtte op pre-kwalificerende vragen maar in plaats daarvan zich verdiepte in technische en statistische details.

Ik was aangetrokken door hoe ze het experimentlogboek hebben georganiseerd – met opmerkingen van deelnemers, geschiedenis en andere elementen – een soort mix tussen een Slack-kanaal en een Confluence-document.

Ook houd ik van hun nadruk op sequentieel testen. Dit stelt je in staat om meerdere experimenten gelijktijdig uit te voeren en redelijk snelle en betekenisvolle resultaten te krijgen.

Helaas biedt AB Smartly geen visuele editor en naadloze GA4-integratie. Dus, we kwamen niet toe aan het bespreken van kosten.

3de Plaats - VWO

De top drie deelnemers hadden alle functies die ik nodig had en de mogelijkheid van proeftoegang.

Visual Website Optimizer – een Indiase service met een lange geschiedenis. Het heeft een vrij gebruiksvriendelijk dashboard en gedetailleerde documentatie. De supportkanalen zijn behoorlijk responsief. Ik moest een beetje rommelen met de GA4-integratie, maar niets kritiek. Ze raden niet aan om via GTM te installeren.

Voor analyse bieden ze frequentiegebaseerde en Bayesian-methoden, verschillende soorten metriek en dergelijke. Alles leek goed, behalve de prijs – gebaseerd op mijn beperkingen, had ik $3750 per maand moeten betalen, wat een beetje aan de hoge kant leek voor een reeks simpele experimenten.

2de Plaats - GrowthBook (YC W22)

De eerste en enige service waarbij de prijzen niet afhankelijk zijn van verkeer. Er is een vast jaarlijks bedrag van $10k per account. Het omvat 10 miljoen API-aanroepen per maand, en extra kosten $100 voor 10 miljoen. Voor de eenvoud kun je overwegen dat één aanvraag gelijk is aan één sessie. Daarnaast zijn er mechanismen om aanvragen te cachen, dus er is potentieel om ergens te besparen.

Growthbook integreert met je Google Cloud-project en haalt statistieken op uit het BigQuery-project, dat moet worden gekoppeld aan je GA4-bron. De gegevensconsistentie wordt behouden door een extra gebeurtenis naar GA4 te sturen bij het initialiseren van het Growthbook-script met de juiste parameters.

Ze hebben hun visuele editor, enkele specificaties voor SPAs, en over het algemeen ziet de applicatie er behoorlijk indrukwekkend uit qua waarde voor de prijs.

De nadelen zijn de relatief hoge instapbarrière (je kunt een nieuwe GTM-container versie niet publiceren en vergeten) en extra kosten voor BigQuery. Behalve dat is Growthbook echt cool.

1ste Plaats - Convert.com

Denk eraan als Google Optimize op steroïden. Eenvoudig, gemakkelijk te begrijpen en lichtgewicht. Kan worden ingesteld via GTM, integreert goed met GA4 – aparte doelgroepen worden voor elke test aangemaakt. De structuur van segmenten, gebeurtenissen en andere entiteiten is intuïtief. Je kunt meerdere statistische criteria gebruiken en werken met variantvoorbeelden.

De maandelijkse kosten voor 1 miljoen MAU bedragen $1100 met een jaarlijkse overeenkomst. Ze bieden professionele ondersteuning – het personeel kan begeleiding bieden en zelfs helpen bij het aanpassen van scripts indien nodig.

Dus, als je op zoek bent naar een uitgebreide vervanging voor Google Optimize die redelijk geprijsd is, kijk dan zeker naar Convert.

Buiten de wedstrijd

Confidence door Spotify – een nieuwe service in bèta-formaat, die ik nog niet heb kunnen uitproberen.

GTM Custom HTML-sjabloon. Als je je niet stoort aan het knipperende effect en het niet erg vindt om zelf conclusies te trekken, kun je je eigen ontwikkelen of een bestaande Google Tag Manager-tag-sjabloon verbeteren. Het zou echt kosteneffectief zijn (basically gratis) en misschien niet te ingewikkeld.

Ik heb geen Russischtalige diensten overwogen. Desalniettemin blijft mijn favoriet Sigma door expf

Conclusie

Dit was een schets van mijn gedetailleerde en minder gedetailleerde indrukken van mijn ontmoetingen met A/B-experimentatiediensten. Er kunnen wijzigingen in de prijzen en app-functionaliteiten optreden na publicatie – mijn excuses daarvoor en ik ben altijd bereid om de inhoud bij te werken.

Russischtalige abonnees kunnen meer van mijn gedachten over marketinganalyse lezen in het "Attribution Model" Telegram-kanaal.

Als je dit bericht leuk vond, overweeg dan alsjeblieft een like te geven en het te delen met vrienden – het betekent veel voor me.

__________

Alex Ignatenko een Product / Marketing Analytics Expert van Add2Cart, implementeert complexe marketinganalytische projecten, lost problemen op met knelpunten in de acquisitiefunnel en bouwt een doorlopend proces voor het testen van nieuwe hypothesen. Alex gebruikt Amplitude Analytics, Google Analytics, SQL, en andere tools om actionable inzichten en aanbevelingen te leveren die de conversieratio-optimalisatie, gebruikersretentie en omzetgroei stimuleren. Ik werk ook samen met productmanagers, ontwikkelaars en marketeers om de productvisie, strategie en uitvoering op elkaar af te stemmen.