arrow-right cart chevron-down chevron-left chevron-right chevron-up close menu minus play plus search share user email pinterest facebook instagram snapchat tumblr twitter vimeo youtube subscribe dogecoin dwolla forbrugsforeningen litecoin amazon_payments american_express bitcoin cirrus discover fancy interac jcb master paypal stripe visa diners_club dankort maestro trash

Shopping Cart


Hur jag valde en A/B-testtjänst

How I Chose an A/B Testing Service

by Alex Ignatenko

A year ago


Tiden för Google Optimize närmar sig sitt slut – Google har redan meddelat att de kommer att avsluta tjänsten i sin ursprungliga form den 30 september. Men, det finns goda nyheter (hallelujah) – de har infört stöd för tredjeparts split-testing-applikationer för att integrera med GA4. Det var här min resa började.

Jag är Alex Ignatenko, och jag är djupt insyltad i marknadsföringsanalytik. Jag ger råd kring datadrivet beslutsfattande, erbjuder vägledning vid uppsättning, och hjälper också till med träning, utveckling och implementering av anpassade attribueringsmodeller och A/B-experiment. Utöver allt detta kuraterar jag en Telegram-kanal med fokus på marknadsföringsanalytik, passande nog kallad "Attribueringsmodell".

Under den senaste månaden har jag dykt ner i en mängd olika programvaruprodukter, testat dem med demonstrationer, prov och grundlig dokumentationsanalys. Mitt mål var att hitta gräddan av produkterna, de som kunde ersätta Google Optimize utan att lämna mig i sticket.

Den här artikeln är en kuraterad lista över applikationer för genomförande och analys av experiment – en lineup som kan fungera som livskraftiga alternativ till Google Optimize när det stänger ner. Så, låt oss dyka in.

Introduktion – Nyckelkriterier

I anda av Oscar Wildes filosofi, höll jag det elegant enkelt. Alla funktioner jag behöver är:

  • Smidig och sömlös integration med GA4.
  • Möjlighet att sätta upp och hantera via GTM.
  • Precisionsinriktad målning genom dataLayer-variabler.
  • Flexibilitet att konfigurera anpassade JS-händelser (via GTM) som experimentmål.
  • En hint av en visuell redigerare skulle inte skada.
  • Responsiv och hjälpsam support skulle vara en gudagåva.
  • Kapacitet att hantera 1 miljon MAU utan att orsaka en ekonomisk kris.

8:e plats – Eppo

Dessa människor är lite speciella. Jag skickade en demo-förfrågan tre gånger, och varje gång verkade den försvinna i tomma luften. Till slut la de till mig på sin mailinglista (tack och lov för det). När jag svarade på deras e-post där de bad om en demo, skickade de mig en schemaläggningslänk. Jag valde en tid, gick med i samtalet som planerat, och väntade en stund. Jag svär, jag gjorde allt jag kunde.

7:e plats – AB Tasty

En ungefärlig uppskattning av kostnaden (baserat på trafikrelaterade förfrågningar) hamnade runt $100k per år. Ärligt talat, det skulle ha kunnat avsluta saker. Tjänsten verkade erbjuda allt jag var ute efter och mer, men det lämnade den avgörande frågan obesvarad – varför det saftiga priset?

6:e plats – Optimizely

Här är en annan produkt som riktar sig direkt till företag. Under vårt första samtal, en något bisarr "demo" session, försvann huvuddelen av vår tid i att jag svarade på kvalificeringsfrågor. När strålkastaren skiftade till mina frågor, försäkrade de mig om att ett detaljerat e-postsvar skulle följa. Rättvist nog.

Och faktiskt, det e-postmeddelandet kom i min inkorg, med bemerkelsesvärda utförliga svar. Nästan hela min blygsamma checklista blev adresserad. Förutom, kanske, för prislappen – en brant $45k per år (jag kan vara en aning fel med det exakta numret, men du fattar poängen – jag ber om ursäkt, Optimizely team). Dessutom, på grund av bristen på en provperiod (vilket inte är en del av planen), fann jag mig skjuta det till de lägre nivåerna av min ranking.

5:e plats - Kameleoon

En fascinerande tjänst. Den kommer till ett något lägre pris – enligt mina krav, runt €35k per år – och inkluderar en mängd intressanta (om än inte helt nödvändiga för mig) personaliserings- och AI-funktioner. Cheferna hävdar att det har den snabbaste svarstiden i branschen och den minsta påverkan på blinkeffekten.

Artiga och vänliga damer tog en kort paus när jag bad om provåtkomst. Tyvärr, den pausen pågår fortfarande. Så, den tar 5:e plats.

4:e plats - ABsmartly

En ung men ganska imponerande tjänst från personer som tidigare arbetat på Booking.com. Demo-samtalet var med medgrundaren Jonas Alves (ex-Produktägare Experimentering @ Booking), och det var det första samtalet under min forskning där den andra personen inte fokuserade för mycket på förkvalificeringsfrågor utan istället grävde ner sig i tekniska och statistiska detaljer.

Jag blev fascinerad av hur de har organiserat experimentloggen – med deltagarkommentarer, historia och andra element – en slags blandning mellan en Slack-kanal och ett Confluence-dokument.

Även, jag gillar deras fokus på sekventiell testning. Detta låter dig köra flera experiment samtidigt och få rimligt snabba och meningsfulla resultat.

Tyvärr erbjuder AB Smartly ingen visuell redigerare och sömlös GA4-integration. Så, vi kom inte till punkten där vi diskuterade kostnader.

3:e plats - VWO

De tre främsta kandidaterna hade alla funktioner jag behövde och möjligheten till provåtkomst.

Visual Website Optimizer – en indisk tjänst med lång historia. Det har en ganska användarvänlig instrumentpanel och detaljerad dokumentation. Supportkanalerna är ganska responsiva. Jag var tvungen att leka lite med GA4-integrationen, men inget kritiskt. De rekommenderar inte installation genom GTM.

För analys erbjuder de frekvensbaserade och Bayesiska metoder, olika typer av mått och så vidare. Allt verkade bra, förutom priset – baserat på mina begränsningar skulle jag ha behövt betala $3750 per månad, vilket verkade lite brant för en serie enkla experiment.

2:a plats - GrowthBook (YC W22)

Den första och enda tjänsten där prissättningen inte är beroende av trafik. Det finns en fast årlig avgift på $10k per konto. Det inkluderar 10 miljoner API-anrop per månad, och extra kostar $100 för 10 miljoner. För enkelhetens skull kan du betrakta en begäran som likvärdig med en session. Dessutom finns det mekanismer för att cacha begärningar, så det finns potential att spara på något sätt.

Growthbook integreras med ditt Google Cloud-projekt och hämtar statistik från BigQuery-projektet, som ska vara kopplat till din GA4-resurs. Datakonsistens upprätthålls genom att skicka en extra händelse till GA4 när Growthbook-skriptet initieras med lämpliga parametrar.

De har sin visuell redigerare, vissa specifika funktioner för SPA:er, och övergripande ser applikationen ganska imponerande ut i förhållande till värdet för priset.

Nackdelarna är den relativt höga inträdesbarriären (du kan inte publicera en ny GTM-container-version och glömma bort den) och extra kostnader för BigQuery. Bortsett från det är Growthbook verkligen cool.

1:a plats - Convert.com

Tänk på det som Google Optimize på steroider. Enkelt, lätt att förstå och lättvikts. Kan sättas upp via GTM, integreras bra med GA4 – separata målgrupper skapas för varje test. Strukturen för segment, händelser och andra entiteter är intuitiv. Du kan använda flera statistiska kriterier och arbeta med variantförhandsgranskningar.

Månadspriset för 1 miljon MAU är $1100 med ett årligt kontrakt. De erbjuder professionell support – personalen kan ge vägledning och till och med hjälpa till att justera skript om det behövs.

Så, om du letar efter en omfattande ersättning för Google Optimize som är rimligt prissatt, ta absolut en titt på Convert.

Ute ur tävlingen

Confidence av Spotify – en ny tjänst i beta-format, som jag inte haft möjlighet att prova än.

GTM Anpassad HTML-mall. Om du inte störs av blinkeffekten och är okej med att dra slutsatser på egen hand, kan du utveckla din egen eller förbättra en befintlig Google Tag Manager-mall. Det skulle vara verkligen kostnadseffektivt (i princip gratis) och kanske inte allt för komplicerat.

Jag har inte övervägt ryskspråkiga tjänster. Trots det förblir min favorit Sigma av expf

Slutsats

Detta var en skiss av mina detaljerade och inte så detaljerade intryck från mina möten med A/B-experimenteringstjänster. Det kan ske ändringar i prissättning och app-funktioner efter publikation – jag ber om ursäkt för det och är alltid redo att uppdatera innehållet.

Rysktalande prenumeranter kan läsa mer av mina tankar om marknadsföringsanalytik i den "Attribueringsmodell" Telegramkanalen.

Om du gillade detta inlägg, överväg att lämna en like och dela det med vänner – det betyder mycket för mig.

__________

Alex Ignatenko en produkt-/marknadsföringsanalytikexpert från Add2Cart, implementerar komplexa marknadsföringsanalytikprojekt, löser problem med flaskhalsar i förvärvstratten, och bygger en strömmande process för att testa nya hypoteser. Alex använder Amplitude Analytics, Google Analytics, SQL och andra verktyg för att leverera handlingsbara insikter och rekommendationer som driver optimering av konverteringsfrekvens, användarretention och intäktstillväxt. Jag samarbetar också med produktchefer, utvecklare och marknadsförare för att anpassa produktvisionen, strategin och utförandet. 

0 comments


Leave a comment