arrow-right cart chevron-down chevron-left chevron-right chevron-up close menu minus play plus search share user email pinterest facebook instagram snapchat tumblr twitter vimeo youtube subscribe dogecoin dwolla forbrugsforeningen litecoin amazon_payments american_express bitcoin cirrus discover fancy interac jcb master paypal stripe visa diners_club dankort maestro trash

Warenkorb


Wie ich einen A/B-Testservice gewählt habe

How I Chose an A/B Testing Service

by Alex Ignatenko

Vor einem Jahr


Die Ära von Google Optimize neigt sich dem Ende zu – Google hat bereits angekündigt, dass sie den Dienst in seiner ursprünglichen Form bis zum 30. September einstellen werden. Es gibt jedoch auch gute Nachrichten (Halleluja) – sie haben Unterstützung für Drittanbieter-Split-Testing-Anwendungen eingeführt, die sich mit GA4 integrieren lassen. Genau dort begann meine Reise.

Ich bin Alex Ignatenko und tief in der Marketing-Analyse verwurzelt. Ich berate in datengestützten Entscheidungsprozessen, biete Unterstützung bei der Einrichtung und helfe auch bei Schulungen, der Entwicklung und Implementierung maßgeschneiderter Attribution Modelle und A/B-Experimente. Darüber hinaus betreibe ich einen Telegram-Kanal, der sich auf Marketing-Analyse konzentriert, passend betitelt "Attribution Model".

Im vergangenen Monat habe ich mich intensiv mit einer Vielzahl unterschiedlicher Softwareprodukte beschäftigt und sie durch Demos, Testversionen und umfassende Dokumentationsanalysen auf den Prüfstand gestellt. Mein Ziel war es, die Crème de la Crème zu finden, die Google Optimize ersetzen könnte, ohne mich im Stich zu lassen.

Dieser Artikel ist eine kuratierte Liste von Anwendungen zur Durchführung und Analyse von Experimenten – eine Auswahl, die als praktikable Alternativen zu Google Optimize dienen könnte, wenn es ausläuft. Lassen Sie uns also eintauchen.

Einführung – Schlüsselcriteria

Im Sinne von Oscar Wildes Philosophie habe ich es elegant einfach gehalten. Alle Funktionen, die ich benötige, sind:

  • Reibungslose und nahtlose Integration mit GA4.
  • Die Möglichkeit, über GTM einzurichten und zu verwalten.
  • Präzise Zielgruppenansprache durch dataLayer-Variablen.
  • Flexibilität zur Konfiguration benutzerdefinierter JS-Events (über GTM) als Experimentziele.
  • Ein Hauch von einem visuellen Editor würde nicht schaden.
  • Reaktionsschnelle und hilfreiche Unterstützung wäre ein Segen.
  • Die Fähigkeit, 1 Million MAU zu bewältigen, ohne eine finanzielle Krise auszulösen.

Platz 8 – Eppo

Diese Leute sind ein wenig eigenartig. Ich habe dreimal einen Demo-Antrag gestellt, und jedes Mal schien er in Luft aufzulösen. Schließlich setzten sie mich auf ihre Mailingliste (Gott sei Dank). Als ich auf ihre E-Mail antwortete und um eine Demo bat, schickten sie mir einen Terminlink. Ich wählte eine Zeit aus, trat dem Anruf wie geplant bei und wartete eine Weile. Ich schwöre, ich habe alles getan, was ich konnte.

Platz 7 – AB Tasty

Eine ungefähre Schätzung der Kosten (basierend auf verkehrsbezogenen Anfragen) lag bei etwa 100.000 $ pro Jahr. Ganz ehrlich, das hätte alles abdecken können. Der Service schien alles zu bieten, was ich suchte und mehr, aber er ließ die entscheidende Frage unbeantwortet – warum der hohe Preis?

Platz 6 – Optimizely

Hier ist ein weiteres Produkt, das sich speziell an Unternehmen richtet. Während unseres ersten Anrufs, einer etwas skurrilen "Demo"-Sitzung, ging der Löwenanteil unserer Zeit dafür drauf, dass ich qualifizierende Fragen beantwortete. Sobald der Fokus auf meine Fragen gerichtet wurde, sicherten sie mir zu, dass eine detaillierte E-Mail-Antwort folgen würde. In Ordnung.

Und tatsächlich kam die E-Mail in meinem Posteingang an, die bemerkenswert umfassende Antworten enthielt. Fast alle Punkte auf meiner bescheidenen Checkliste wurden angesprochen. Außer vielleicht beim Preis – stolze 45.000 $ pro Jahr (ich könnte mit der genauen Zahl etwas daneben liegen, aber Sie verstehen die Idee – meine Entschuldigung, Optimizely-Team). Außerdem fand ich aufgrund der fehlenden Testoption (die nicht Teil des Plans ist) keinen Weg, es in meiner Rangliste weiter oben zu platzieren.

Platz 5 - Kameleoon

Ein faszinierender Service. Er liegt preislich etwas niedriger – je nach meinen Anforderungen etwa 35.000 € pro Jahr – und umfasst eine Reihe interessanter (wenn auch nicht ganz notwendiger) Personalisierungs- und KI-Funktionen. Die Manager behaupten, dass er die schnellste Reaktionszeit in der Branche hat und den geringsten Einfluss auf den Flimmer-Effekt.

Höfliche und freundliche Damen hielten einen Moment inne, als ich nach einem Testzugang fragte. Leider dauert diese Pause immer noch an. Daher belegt es den 5. Platz.

Platz 4 - ABsmartly

Ein junger, aber recht beeindruckender Service von Leuten, die zuvor bei Booking.com gearbeitet haben. Der Demo-Anruf fand mit dem Mitbegründer Jonas Alves (ehemaliger Product Owner Experimentation @ Booking) statt, und es war das erste Gespräch während meiner Recherche, bei dem die andere Person nicht allzu sehr auf qualifizierenden Fragen ins Detail ging, sondern in technische und statistische Feinheiten eintauchte.

Ich war beeindruckt, wie sie das Experimentprotokoll organisiert haben – mit Teilnehmerkommentaren, Historie und anderen Elementen – eine Art Mischung zwischen einem Slack-Kanal und einem Confluence-Dokument.

Außerdem gefällt mir ihr Schwerpunkt auf sequenzielles Testen. So können Sie mehrere Experimente gleichzeitig durchführen und relativ schnell und aussagekräftige Ergebnisse erzielen.

Leider bietet AB Smartly keinen visuellen Editor und keine nahtlose GA4-Integration an. Daher kamen wir nicht dazu, über die Kosten zu sprechen.

Platz 3 - VWO

Die drei besten Anbieter hatten alle Funktionen, die ich brauchte, und die Möglichkeit eines Testzugangs.

Visual Website Optimizer – ein indischer Service mit einer langen Geschichte. Er hat ein ziemlich benutzerfreundliches Dashboard und detaillierte Dokumentation. Die Support-Kanäle sind sehr reaktionsschnell. Ich musste ein wenig mit der GA4-Integration herumfummeln, aber nichts Kritisches. Sie empfehlen nicht, über GTM zu installieren.

Für die Analyse bieten sie frequenzbasierte und bayes’sche Methoden, verschiedene Arten von Metriken usw. an. Alles schien gut, bis auf den Preis – basierend auf meinen Einschränkungen müsste ich 3750 $ pro Monat zahlen, was für eine Reihe einfacher Experimente etwas hoch erschien.

Platz 2 - GrowthBook (YC W22)

Der erste und einzige Service, bei dem die Preisgestaltung nicht vom Traffic abhängt. Es gibt eine feste Jahresgebühr von 10.000 $ pro Konto. Das umfasst 10 Millionen API-Anfragen pro Monat, und zusätzliche Anfragen kosten 100 $ für 10 Millionen. Der Einfachheit halber können Sie eine Anfrage als eine Sitzung betrachten. Außerdem gibt es Mechanismen zur Zwischenspeicherung von Anfragen, sodass es Potenzial zur Einsparung gibt.

Growthbook integriert sich in Ihr Google Cloud-Projekt und ruft Statistiken aus dem BigQuery-Projekt ab, das mit Ihrer GA4-Ressource verknüpft sein sollte. Die Datenkonsistenz wird durch das Senden eines zusätzlichen Ereignisses an GA4 beim Initialisieren des Growthbook-Skripts mit den entsprechenden Parametern aufrechterhalten.

Sie haben ihren visuellen Editor, einige spezifische Funktionen für SPAs, und insgesamt sieht die Anwendung in Bezug auf das Preis-Leistungs-Verhältnis recht beeindruckend aus.

Die Nachteile sind die relativ hohen Einstiegshürden (Sie können eine neue GTM-Container-Version nicht veröffentlichen und dann einfach vergessen) und zusätzliche Kosten für BigQuery. Abgesehen davon ist Growthbook wirklich cool.

Platz 1 - Convert.com

Denken Sie daran, dass es wie Google Optimize auf Steroiden ist. Einfach, leicht verständlich und leichtgewichtig. Kann über GTM eingerichtet werden, integriert sich gut mit GA4 – separate Zielgruppen werden für jeden Test erstellt. Die Struktur von Segmenten, Ereignissen und anderen Entitäten ist intuitiv. Sie können mehrere statistische Kriterien verwenden und mit Variantenvorschau arbeiten.

Die monatlichen Kosten für 1 Million MAU betragen 1100 $ bei einem Jahresvertrag. Sie bieten professionelle Unterstützung – das Personal kann Hilfestellungen geben und sogar bei der Anpassung von Skripten helfen, falls nötig.

Wenn Sie also nach einer umfassenden, preislich fairen Alternative zu Google Optimize suchen, sollten Sie sich auf jeden Fall Convert anschauen.

Aus dem Wettbewerb ausgeschieden

Confidence von Spotify – ein frischer Service im Beta-Format, den ich noch nicht ausprobieren konnte.

GTM Custom HTML Template. Wenn Sie sich nicht am Flimmer-Effekt stören und bereit sind, die Schlussfolgerungen selbst zu ziehen, können Sie Ihr eigenes oder ein bestehendes Google Tag Manager-Tagtemplate entwickeln oder verbessern. Es wäre sehr kosteneffektiv (basically kostenlos) und vielleicht nicht allzu kompliziert.

Ich habe keine russischsprachigen Dienste in Betracht gezogen. Dennoch bleibt mein Favorit Sigma von expf

Fazit

Dies war eine Skizze meiner ausführlichen und nicht so detaillierten Eindrücke aus meinen Begegnungen mit A/B-Experimentierungsdiensten. Es könnte nach der Veröffentlichung Änderungen bei den Preisen und Funktionen der Anwendungen geben – dafür entschuldige ich mich und bin immer bereit, den Inhalt zu aktualisieren.

Russischsprachige Abonnenten können mehr von meinen Gedanken zur Marketing-Analyse im "Attribution Model" Telegram-Kanal lesen.

Wenn Ihnen dieser Beitrag gefallen hat, ziehen Sie bitte in Betracht, einen Like zu hinterlassen und ihn mit Freunden zu teilen – das bedeutet mir viel.

__________

Alex Ignatenko, ein Produkt-/Marketing-Analytik-Experte von Add2Cart, implementiert komplexe Marketing-Analyseprojekte, löst Probleme mit Engpässen im Akquisitions-Trichter und baut einen streamlining-Prozess zum Testen neuer Hypothesen auf. Alex nutzt Amplitude Analytics, Google Analytics, SQL und andere Tools, um umsetzbare Erkenntnisse und Empfehlungen zu liefern, die die Optimierung der Konversionsrate, die Nutzerbindung und das Umsatzwachstum vorantreiben. Ich arbeite auch mit Produktmanagern, Entwicklern und Vermarktern zusammen, um die Produktvision, Strategie und Ausführung abzustimmen. 

0 Kommentare


Hinterlassen Sie einen Kommentar