arrow-right cart chevron-down chevron-left chevron-right chevron-up close menu minus play plus search share user email pinterest facebook instagram snapchat tumblr twitter vimeo youtube subscribe dogecoin dwolla forbrugsforeningen litecoin amazon_payments american_express bitcoin cirrus discover fancy interac jcb master paypal stripe visa diners_club dankort maestro trash

Shopping Cart


Hogyan választottam ki egy A/B tesztelő szolgáltatást

How I Chose an A/B Testing Service

by Alex Ignatenko

A year ago


A Google Optimize korszaka véget ér – a Google már bejelentette, hogy 2023. szeptember 30-ig leállítja a szolgáltatást eredeti formájában. Van azonban egy jó hír (hála az égnek) – bevezetésre került a harmadik fél által kínált A/B tesztelési alkalmazások támogatása a GA4-integrációhoz. Itt kezdődött az utam.

Én Alex Ignatenko vagyok, és mélyen elmerültem a marketing analitikában. Tanácsot adok az adat-alapú döntéshozatalban, útmutatást nyújtok a beállításokhoz, és segítek a testreszabott attribúciós modellek és A/B kísérletek kidolgozásában és megvalósításában. Mindezek mellett egy Telegram csatornát is kurálok, amely a marketing analitikára összpontosít, megfelelően elnevezve "Attribúciós Modell".

Az elmúlt hónapban számos különféle szoftverterméket tanulmányoztam, amelyeket demók, próbák és alapos dokumentációelemzés során teszteltem. Célom az volt, hogy megtaláljam a legjobbakat, azokat, amelyek helyettesíthetik a Google Optimize-ot anélkül, hogy cserben hagynának.

Ez a cikk egy válogatott lista az alkalmazásokról kísérletezéshez és elemzéshez – egy sor olyan lehetőségről, amely alternatívaként szolgálhat a Google Optimize számára, amint az naplemente lesz. Tehát, merüljünk el.

Bevezetés – Kulcsfontosságú Kritériumok

Oscar Wilde filozófiájának szellemében elegánsan egyszerűen tartottam. Minden funkció, amire szükségem van:

  • Zökkenőmentes integráció a GA4-tel.
  • Képesség a GTM-en keresztüli beállításra és kezelésre.
  • Precíziós célzás dataLayer változókkal.
  • Rugalmasság a testreszabott JS események (GTMon keresztül) beállításában mint kísérleti célok.
  • Egy kis vizuális szerkesztő nem ártana.
  • Reagáló és segítőkész támogatás igazi áldás lenne.
  • Képesség 1 millió MAU kezelésére anélkül, hogy pénzügyi válságot okozna.

8. Helyezés – Eppo

Ezek az emberek egy kicsit különcök. Háromszor küldtem be demó kérést, és mindhárom alkalommal úgy tűnt, mintha elenyészett volna. Végül felkerültem a levelezési listájukra (köszönöm ennek). Amikor válaszoltam az e-mailjükre, amelyben demót kértek, küldtek egy időpont-foglalási linket. Kiválasztottam egy időpontot, csatlakoztam a hívásra, és vártam egy ideig. Esküszöm, mindent megtettem.

7. Helyezés – AB Tasty

A költség becslése (a forgalommal kapcsolatos kérdések alapján) körülbelül évi 100 000 dollár körül alakult. Őszintén szólva, ez véget vethetett volna a dolognak. A szolgáltatás mindent kínált, amire vágytam, és még többet is, de a legfontosabb kérdés megválaszolatlan maradt – miért ennyire borsos az ár?

6. Helyezés – Optimizely

Itt van egy másik termék, amely kifejezetten a vállalatokat célozza. Az első hívásunk alkalmával egy kissé szeszélyes "demó" szekció keretében az időnk nagy részét azzal töltöttük, hogy én válaszoltam a minősítő kérdésekre. Amint a figyelem a kérdéseimre terelődött, megígérték, hogy részletes e-mail válasz érkezik. Megfelelő.

És valóban, az e-mail megérkezett az inboxomba, tartalmazva kiválóan részletes válaszokat. Virtuálisan az összes szerény ellenőrző listámat érintették. Kivéve talán az árszegmenst – egy meredek 45 000 dollár évente (lehet, hogy egy kicsit eltértem a pontos számtól, de érted a lényeget – elnézést, Optimizely csapata). Továbbá, a próbalehetőség hiánya (amely nem része a tervnek) miatt az alacsonyabb rangsorba helyeztem.

5. Helyezés - Kameleoon

Fascináló szolgáltatás. Kissé alacsonyabb áron érhető el – az igényeim alapján körülbelül 35 000 euró évente – és tartalmaz egy csomó érdekes (bár számomra nem teljesen szükséges) személyre szabható és AI funkciót. A menedzserek azt állítják, hogy ez a leggyorsabb válaszidőt kínálja az iparágban és a legkevesebb hatást gyakorolja a villódzási effektusra.

Udvarias és barátságos hölgyek egy kicsit késlekedtek, amikor próbalehetőséget kértem. Sajnos a késlekedés azóta is tart. Így a 5. helyre került.

4. Helyezés - ABsmartly

Egy fiatal, de meglehetősen figyelemre méltó szolgáltatás, azoktól az emberektől, akik korábban a Booking.com cégnél dolgoztak. A demó hívás a társalapítóval, Jonas Alvesszel (korábbi terméktulajdonos a Bookingnál) zajlott, és ez volt az első beszélgetés a kutatásom alatt, amikor a másik fél nem a minősítő kérdésekkel foglalkozott, hanem inkább a technikai és statisztikai részletekre tért át.

Látszódott, hogy hogyan szervezték meg a kísérletek naplóját – résztvevői megjegyzések, történelem és egyéb elemek – egyfajta keveréke a Slack csatornának és a Confluence dokumentumnak.

Továbbá tetszik a hagyományos tesztelés hangsúlyozása. Ez lehetővé teszi több kísérlet párhuzamos futását, és elérhetően gyors és értelmes eredményeket hoz.

Sajnos az AB Smartly nem kínál vizuális szerkesztőt és zökkenőmentes GA4 integrációt. Így nem jutottunk el a költségek megbeszéléséig.

3. Helyezés - VWO

A három legjobb versenyző rendelkezett mindazokkal a funkciókkal, amire szükségem volt, és lehetőségem volt a próbalehetőségre.

A Visual Website Optimizer – egy indiai szolgáltatás, hosszú múltra tekint vissza. Meglepően felhasználóbarát irányítópulttal és részletes dokumentációval rendelkezik. A támogatási csatornák meglehetősen reagálók. Kissé ügyeskedni kellett a GA4 integrációval, de semmi kritikus. Nem ajánlják a GTM-en keresztüli telepítést.

Az elemzéshez frekvencia-alapú és Bayes módszereket, különféle típusú metrikákat és ehhez hasonlókat kínálnak. Minden jónak tűnt, kivéve az árat – az én korlátaim alapján havi 3750 dollárt kellett volna fizetnem, ami kissé meredeknek tűnt egy sor egyszerű kísérletért.

2. Helyezés - GrowthBook (YC W22)

Az első és egyetlen szolgáltatás, ahol az ár nem függ a forgalomtól. Évi 10 000 dolláros fix díj van fiókonként. Tartalmaz 10 millió API hívást havonta, és a továbbiak költsége 100 dollár 10 millióért. Az egyszerűség kedvéért, egy kérést tekinthetsz egy sessionnek. Továbbá van lehetőség a kérelmek cache-elésére, tehát van potenciális megtakarítási lehetőség.

A Growthbook integrálódik a Google Cloud projektedbe, és statisztikákat kér le a BigQuery projektről, amelynek a GA4 erőforráshoz kell kapcsolódnia. Az adatok konzisztenciáját extra esemény küldése biztosítja a GA4-hez, amikor inicializálják a Growthbook scriptet a megfelelő paraméterekkel.

Van saját vizuális szerkesztőjük, néhány speciális funkció SPA-k számára, és összességében az alkalmazás meglehetősen lenyűgöző értéket kínál az árhoz képest.

A hátrányok közé tartozik a viszonylag magas belépési barra (nem publikálhatsz egy új GTM konténerverziót és felejtheted el) és a BigQuery-hez kapcsolódó további költségek. Ezen kívül a Growthbook igazán klassz.

1. Helyezés - Convert.com

Gondolj rá, mint a Google Optimize-ra egy kis vérfrissítéssel. Egyszerű, könnyen érthető és könnyű. A GTM-en keresztül beállítható, jól integrálódik a GA4-hez – külön közönségek jönnek létre minden teszthez. A szegmensek, események és egyéb entitások struktúrája intuitív. Több statisztikai kritériumot használhatsz és dolgozhatsz variáns előnézetekkel.

A havi költség 1 millió MAU-ra 1100 dollár, éves szerződéssel. Professzionális támogatást nyújtanak – a személyzet tanácsokat adhat, sőt segíthet a script finomításában, ha szükséges.

Tehát, ha egy átfogó, ésszerűen árazott helyettesítőt keresel a Google Optimize számára, mindenképpen nézd meg a Convert-et.

Versenyen Kívül

Confidence by Spotify – egy friss béta formátumú szolgáltatás, amit még nem volt alkalmam kipróbálni.

GTM Testreszabott HTML Sablon. Ha nem zavarnak a villódzási effektek és elfogadod, hogy saját következtetéseket vonj le, kifejlesztheted a sajátot, vagy javíthatod egy meglévő Google Tag Manager sablont. Nagyon költséghatékony lenne (gyakorlatilag ingyenes), és talán nem is túl bonyolult.

Nem fontolgattam orosz nyelvű szolgáltatásokat. Ennek ellenére a kedvencem továbbra is a Sigma az expf

Következtetés

Ez egy vázlat volt a részletes és nem túl részletes benyomásaimról az A/B kísérleti szolgáltatásokkal való találkozások kapcsán. Lehetnek ár- és alkalmazásfunkcióbeli változások a közzététel után – ezért elnézést kérek, és mindig készen állok frissíteni a tartalmat.

Az orosz ajkú követők több gondolatomat olvashatják a marketing analitikáról a "Attribúciós Modell" Telegram csatornámon.

Ha tetszett ez a bejegyzés, kérlek, fontold meg egy lájk hagyását és megosztását a barátaiddal - ez nagyon sokat jelent számomra.

__________

Alex Ignatenko a Add2Cart termék / marketing analitika szakértője, aki komplex marketing analitikai projekteket valósít meg, megoldást talál a beszerzési tölcsérben jelentkező szűkülések problémáira, és kiépíti az új hipotézisek tesztelésének streaming folyamatát. Alex az Amplitude Analytics, Google Analytics, SQL és egyéb eszközöket használ, hogy végrehajtható betekintéseket és ajánlásokat biztosítson, amelyek javítják a konverziós arány optimalizálását, a felhasználói megtartást és a bevételnövelést. Emellett együttműködik a termékmenedzserekkel, fejlesztőkkel és marketingszakemberekkel, hogy a termék vízióját, stratégiáját és végrehajtását összehangolja.

0 comments


Leave a comment