arrow-right cart chevron-down chevron-left chevron-right chevron-up close menu minus play plus search share user email pinterest facebook instagram snapchat tumblr twitter vimeo youtube subscribe dogecoin dwolla forbrugsforeningen litecoin amazon_payments american_express bitcoin cirrus discover fancy interac jcb master paypal stripe visa diners_club dankort maestro trash

Shopping Cart


Kuinka valitsin A/B-testauksen palvelun

How I Chose an A/B Testing Service

by Alex Ignatenko

A year ago


Google Optimize -kausi on päättymässä - Google on jo ilmoittanut, että se lopettaa palvelun alkuperäisessä muodossa 30. syyskuuta mennessä. Hyviä uutisia on kuitenkin ilmestynyt (hallelujah) - he ovat ottaneet käyttöön kolmannen osapuolen split-testing-sovellusten tuen GA4:ssä. Siitä kaikki alkoi.

Olen Alex Ignatenko, ja olen syvällä markkinointianalytiikassa. Teen konsultointia datalähtöisessä päätöksenteossa, annan ohjeita asetuksessa ja autan myös koulutuksen, mukautettujen attribuutiomallien ja A/B-kokeiden kehittämisessä ja toteuttamisessa. Kaiken tämän lisäksi ylläpidän Telegram-kanavaa, joka keskittyy markkinointianalytiikkaan, joka on nimeltään "Attribution Model".

Viime kuukauden aikana olen tutustunut monenlaisiin ohjelmistotuotteisiin, kokeillut niitä demojen, kokeilujen ja perusteellisen dokumentaation analyysin avulla. Tavoitteeni oli löytää parhaat vaihtoehdot, jotka voisivat korvata Google Optimizen ilman, että jäätyisin pulaan.

Tämä artikkeli on kuratoitu lista kokeiden toteuttamisen ja analyysin sovelluksista - lineup, joka voisi olla elinkelpoisia vaihtoehtoja Google Optimizelle sen lopettaessa toimintansa. Sukelletaan siis sisään.

Johdanto – Avainkriteerit

Oscar Wilden filosofian hengessä pidin sen elegantin yksinkertaisena. Kaikki tarvitsemani ominaisuudet ovat:

  • Sujuva ja saumaton integraatio GA4:n kanssa.
  • Mahdollisuus luoda ja hallita GTM:n kautta.
  • Tarkka kohdentaminen dataLayer-muuttujien avulla.
  • Joustavuus konfiguroida mukautettuja JS-tapahtumia (GTMin kautta) kokeen tavoitteiksi.
  • Visuaalisen editorin lisäys ei olisi haitaksi.
  • Reagoiva ja avulias tuki olisi taivas.
  • Kyky käsitellä 1 miljoonaa MAU:ta ilman taloudellista kriisiä.

8. Sija – Eppo

Nämä tyypit ovat hieman erikoisia. Lähetin demo-pyynnön kolme kertaa, ja joka kerta se näytti häviävän ilmaan. Lopulta he lisäsivät minut postituslistalleen (kiitos siitä). Kun vastasin heidän sähköpostiinsa demo-pyyntöön, he lähettivät minulle aikataulutuslinkin. Valitsin ajan, liityin puheluun aikataulutettuna, ja odotin hetken. Vannon, että tein kaiken voitavani.

7. Sija – AB Tasty

Arvio kustannuksista (liikenteeseen liittyvien kysymysten perusteella) päätyi noin 100 000 dollariin vuodessa. Rehellisesti sanottuna, se olisi voinut päättää asiat. Palvelu näytti tarjoavan kaiken, mitä olin etsimässä ja enemmän, mutta se jätti tärkeimmän kysymyksen vastaamatta - miksi niin korkea hintalappu?

6. Sija – Optimizely

Tässä on toinen tuote, joka kohdistuu suoraan yrityksille. Alkuperäisessä puhelussamme, hieman epäkonventionaalisessa "demo"-sessiossa, suurin osa ajasta kului siihen, että vastasin kelpuutuskysymyksiin. Kun keskustelu siirtyi kysymyksiini, he vakuuttivat, että yksityiskohtainen sähköpostivastaus seuraisi. Hyvä niin.

Ja todellakin, se sähköposti saapui postilaatikkooni ja sisälsi huomattavan kattavia vastauksia. Virtuaalisesti kaikki vaatimattomat tarkistuslistani oli käsitelty. Paitsi ehkä hinnoittelun suhteen - jyrkkä 45 000 dollaria vuodessa (voin olla hieman väärässä tarkassa summassa, mutta saat idean - anteeksi siitä, Optimizely tiimi). Lisäksi kokeiluoption puutteen vuoksi (mikä ei ole osa suunnitelmaa) löysin itseni työntämästä sitä alaspäin rankingissani.

5. Sija - Kameleoon

Viehättävä palvelu. Sen hinta on hieman alhaisempi - vaatimusteni mukaan noin 35 000 euroa vuodessa - ja se sisältää joukon mielenkiintoisia (vaikka ei täysin tarpeellisia minulle) personointi- ja tekoälyominaisuuksia. Johtajat väittävät, että sillä on nopein vasteaika alalla ja vähiten vaikutusta vilkkumiseen.

Kunnioittavat ja ystävälliset naiset pitivät pienen tauon, kun pyysin kokeilupääsyä. Valitettavasti se tauko on edelleen käynnissä. Joten se ottaa 5. sijan.

4. Sija - ABsmartly

Nuori mutta varsin vaikuttava palvelu ihmisiltä, jotka olivat aiemmin työskennelleet Booking.com. Demo-puhelu oli perustajapartnerin Jonas Alves (entinen tuotteiden omistaja kokeilussa @ Booking) kanssa, ja se oli ensimmäinen keskustelu tutkimukseni aikana, jossa toinen osapuoli ei keskittynyt liikaa ennakkokehitys kysymyksiin, vaan syventyi teknisiin ja tilastollisiin yksityiskohtiin.

Olin viehättynyt siitä, miten he ovat järjestäneet kokeiden lokin - osallistujien kommentteineen, historiatietoineen ja muine elementteineen - eräänlaisena yhdistelmänä Slack-kanavasta ja Confluence-dokumentista.

Myöskin pidän heidän korostuksestaan ​​peräkkäisessä testauksessa. Tämä antaa mahdollisuuden suorittaa useita kokeita samanaikaisesti ja saada kohtuullisen nopeita ja merkityksellisiä tuloksia.

Valitettavasti AB Smartly ei tarjoa visuaalista editoria eikä saumattomaan GA4-integraatiota. Joten emme päässeet keskustelemaan kustannuksista.

3. Sija - VWO

Kolme parasta kilpailijaa sisälsi kaikki tarvitsemani ominaisuudet ja mahdollisuuden kokeilupääsyyn.

Visual Website Optimizer – intialainen palvelu, jolla on pitkä historia. Siinä on melko käyttäjäystävällinen hallintapaneeli ja kattava dokumentaatio. Tuki kanavat ovat melko reagoivia. Minun piti hieman säätää GA4-integraatiota, mutta ei mitään kriittistä. He eivät suosittele asennusta GTM:n kautta.

Analyysiin he tarjoavat frekvenssipohjaisia ja Bayesilaisia menetelmiä, erilaisia mittarityyppejä ja niin edelleen. Kaikki näytti hyvältä, paitsi hinta – rajoitusteni perusteella minun olisi pitänyt maksaa 3750 dollaria kuukaudessa, mikä tuntui hieman korkealta sarjassa yksinkertaisia kokeita.

2. Sija - GrowthBook (YC W22)

Ensimmäinen ja ainoa palvelu, jossa hinnoittelu ei riipu liikenteestä. Vuosittainen kiinteä maksu on 10 000 dollaria tiliä kohden. Se sisältää 10 miljoonaa API-kutsua kuukaudessa, ja lisäkutsut maksavat 100 dollaria kymmeneltä miljoonalta. Yksinkertaisuuden vuoksi voit pitää yhtä pyyntöä yhtä istuntoa vastaavana. Lisäksi siellä on mekanismeja pyyntöjen välimuistiin, joten siellä on potentiaalia säästää rahaa.

Growthbook integroituu Google Cloud -projektiisi ja noutaa tilastoja BigQuery-projektista, joka pitää linkittää GA4-resurssiisi. Tietojen johdonmukaisuus säilyy lähettämällä ylimääräisen tapahtuman GA4:ään, kun Growthbookin skripti alustetaan asianmukaisilla parametreilla.

Heillä on oma visuaalinen editori, joitakin erityisiä SPAs:lle, ja yleisesti ottaen sovellus näyttää varsin vaikuttavalta hinnan arvoon nähden.

Haittapuolina ovat suhteellisen korkea sisäänpääsykynnys (et voi julkaista uutta GTM-säiliöversiota ja unohtaa sitä) ja lisäkustannukset BigQuerylle. Siitä huolimatta, Growthbook on todella siisti.

1. Sija - Convert.com

Ajattele sitä kuin Google Optimizea, mutta parempana. Yksinkertainen, легко ymmärrettävä ja kevyt. Voidaan asettaa GTM:n kautta, integroituu hyvin GA4:ään - erilliset yleisöt luodaan jokaiselle testille. Segmenttien, tapahtumien ja muiden yksiköiden rakenne on intuitiivinen. Voit käyttää useita tilastollisia kriteereitä ja työskennellä varianttinäkymien kanssa.

Kuukausikustannus 1 miljoonalle MAU:lle on 1100 dollaria vuosittaisella sopimuksella. He tarjoavat ammatillista tukea – henkilökunta voi antaa ohjeita ja jopa auttaa skriptien muokkaamisessa tarvittaessa.

Joten jos etsit kattavaa korvaajaa Google Optimize:lle kohtuullisella hinnalla, katso ehdottomasti Convert.

Pois kilpailusta

Confidence by Spotify – tuore palvelu beetaversiossa, jota en ole vielä saanut kokeilla.

GTM Custom HTML -malli. Jos vilkkuminen ei häiritse sinua ja olet valmis käsittelemään päätelmiä itse, voit kehittää oman tai parantaa olemassa olevan Google Tag Manager -tagimallin. Se olisi erittäin kustannustehokasta (periaatteessa ilmaista) ja ehkä ei liian monimutkaista.

En ole harkinnut venäjänkielisiä palveluita. Silti suosikkini on edelleen Sigma by expf

Päätelmä

Tämä oli luonnos yksityiskohtaisista ja ei-niin-yksityiskohtaisista vaikutelmistani A/B-kokeilupalveluihin liittyen. Julkaisun jälkeen hinnoissa ja sovellusten toiminnallisuudessa voi olla muutoksia - pahoittelen siitä ja olen aina valmis päivittämään sisältöä.

Venäjänkieliset tilaajat voivat lukea lisää ajatuksistani markkinointianalytiikasta "Attribution Model" Telegram-kanavalta.

Jos pidit tästä postauksesta, harkitse ystäviesi kanssa jakamista – se merkitsee minulle paljon.

__________

Alex Ignatenko markkinointi/analytiikkaasiantuntijana Add2Cart, toteuttaa monia markkinointianalytiikkaprojekteja, ratkaisee hankintakanavan pullonkaulaprobleemit ja rakentaa suoraviivaista prosessia uusien hypoteesien testaamiseksi. Alex käyttää Amplitude Analyticsia, Google Analyticsia, SQL: ää ja muita työkaluja, jotta voi tuottaa käyttökelpoisia näkemyksiä ja suosituksia, jotka edistävät konversioprosentin optimointia, käyttäjien säilyttämistä ja tulojen kasvua. Työskentelen myös tuotepäälliköiden, kehittäjien ja markkinoijien kanssa, jotta voimme keskittyä tuotteen visioon, strategiaan ja toteutukseen. 

0 comments


Leave a comment