arrow-right cart chevron-down chevron-left chevron-right chevron-up close menu minus play plus search share user email pinterest facebook instagram snapchat tumblr twitter vimeo youtube subscribe dogecoin dwolla forbrugsforeningen litecoin amazon_payments american_express bitcoin cirrus discover fancy interac jcb master paypal stripe visa diners_club dankort maestro trash

Panier


Comment j'ai choisi un service de test A/B

How I Chose an A/B Testing Service

by Alex Ignatenko

Il ya a un an


L'ère de Google Optimize touche à sa fin - Google a déjà annoncé qu'ils mettraient fin au service dans sa forme originale d'ici le 30 septembre. Cependant, il y a de bonnes nouvelles (alléluia) - ils ont introduit le support pour les applications de test A/B tierces afin de s'intégrer à GA4. C'est là que mon parcours a commencé.

Je suis Alex Ignatenko, et je suis profondément impliqué dans l'analyse marketing. Je conseille sur la prise de décisions guidées par les données, offre des conseils sur la configuration, et je fais également appel à des formations, au développement et à la mise en œuvre de modèles d'attribution personnalisés et d'expériences A/B. Pour couronner le tout, je gère un canal Telegram axé sur l'analyse marketing, judicieusement intitulé "Attribution Model".

Au cours du mois dernier, je me suis plongé dans une multitude de produits logiciels différents, les mettant à l'épreuve avec des démos, des essais, et une analyse approfondie de la documentation. Mon objectif était de trouver la crème de la crème, ceux qui pouvaient remplacer Google Optimize sans me laisser dans l'embarras.

Cet article est une liste choisie d'applications pour la conduite et l'analyse d'expériences - une sélection qui pourrait servir d'alternatives viables à Google Optimize une fois qu'il aura été abandonné. Alors, plongeons-y.

Introduction - Critères clés

Dans l'esprit de la philosophie d'Oscar Wilde, je l'ai gardé élégamment simple. Toutes les fonctionnalités dont j'ai besoin sont :

  • Intégration fluide et sans faille avec GA4.
  • Capacité à configurer et à gérer via GTM.
  • Ciblage précis à travers des variables dataLayer.
  • Flexibilité pour configurer des événements JS personnalisés (via GTM) comme objectifs des expériences.
  • Un soupçon d'éditeur visuel ne ferait pas de mal.
  • Un support réactif et utile serait une bénédiction.
  • Capacité à gérer 1 million d'UA sans créer de crise financière.

8ème place - Eppo

Ces personnes sont un peu particulières. J'ai soumis une demande de démo trois fois, et à chaque fois, il semblait que cela disparaissait dans la nature. Finalement, ils m'ont mis sur leur liste de diffusion (merci pour ça). Lorsque j'ai répondu à leur email demandant une démo, ils m'ont envoyé un lien de planification. J'ai choisi une heure, j'ai rejoint l'appel comme convenu, et j'ai attendu un moment. Je vous le promets, j'ai fait tout mon possible.

7ème place - AB Tasty

Une estimation approximative du coût (basée sur des requêtes liées au trafic) s'est élevée à environ 100 000 $ par an. Franchement, cela aurait pu mettre fin aux discussions. Le service semblait offrir tout ce que je recherchais et plus encore, mais il laissait la question cruciale sans réponse - pourquoi un prix si élevé ?

6ème place - Optimizely

Voici un autre produit visant clairement les entreprises. Lors de notre appel initial, une sorte de session "démos" fantaisiste, la majeure partie de notre temps a été consacrée à répondre à des questions de qualification. Une fois que l'attention s'est tournée vers mes questions, ils m'ont assuré qu'un email détaillé suivrait. Ça me va.

Et en effet, cet email est arrivé dans ma boîte de réception, contenant des réponses remarquablement complètes. Virtuellement tous les éléments de ma modeste liste de contrôle ont été abordés. À l'exception, peut-être, du prix - un tarif élevé de 45 000 $ par an (je pourrais être légèrement éloigné du chiffre précis, mais vous avez compris - mes excuses, équipe Optimizely). De plus, en raison de l'absence d'option d'essai (qui n'est pas incluse dans le plan), j'ai dû le pousser vers les échelons inférieurs de mon classement.

5ème place - Kameleoon

Un service fascinant. Il se présente à un prix légèrement inférieur - selon mes exigences, environ 35 000 € par an - et il inclut un tas de fonctionnalités de personnalisation et d'IA intéressantes (bien que pas totalement nécessaires pour moi). Les responsables affirment qu'il a le temps de réponse le plus rapide de l'industrie et le moindre impact sur l'effet de scintillement.

Des dames polies et amicales ont fait une pause lorsque j'ai demandé un accès d'essai. Malheureusement, cette pause est toujours d'actualité. Donc, il occupe la 5ème place.

4ème place - ABsmartly

Un service jeune mais assez impressionnant provenant de personnes qui ont précédemment travaillé chez Booking.com. L'appel de démonstration s'est fait avec l'un des cofondateurs Jonas Alves (ancien Responsable Produit Expérimentation chez Booking), et c'était la première conversation de ma recherche où l'autre personne ne s'est pas trop concentrée sur les questions de pré-qualification, mais a plutôt plongé dans les subtilités techniques et statistiques.

J'ai été attiré par la façon dont ils ont organisé le journal des expériences - avec des commentaires des participants, l'historique et d'autres éléments - un mélange entre un canal Slack et un document Confluence.

De plus, j'aime leur accent sur les tests séquentiels. Cela vous permet de mener plusieurs expériences simultanément et d'obtenir des résultats relativement rapides et significatifs.

Malheureusement, AB Smartly n'offre pas d'éditeur visuel et d'intégration fluide avec GA4. Donc, nous n'avons pas abordé le point des coûts.

3ème place - VWO

Les trois premiers candidats avaient toutes les fonctionnalités dont j'avais besoin et la possibilité d'un accès d'essai.

Visual Website Optimizer – un service indien avec une longue histoire. Il offre un tableau de bord assez convivial et une documentation détaillée. Les canaux de support sont assez réactifs. J'ai dû bricoler un peu avec l'intégration GA4, mais rien de critique. Ils ne recommandent pas d'installation via GTM.

Pour l'analyse, ils proposent des méthodes basées sur la fréquence et bayésiennes, divers types de métriques, et ainsi de suite. Tout semblait bon, sauf le prix - basé sur mes contraintes, j'aurais dû payer 3750 $ par mois, ce qui semblait un peu élevé pour une série d'expériences simples.

2ème place - GrowthBook (YC W22)

Le premier et unique service où le tarif n'est pas dépendant du trafic. Il y a un tarif annuel fixe de 10 000 $ par compte. Cela inclut 10 millions d'appels API par mois, et des appels supplémentaires coûtent 100 $ pour 10 millions. Pour simplifier, vous pouvez considérer une requête comme une session. De plus, il existe des mécanismes pour mettre en cache les requêtes, il y a donc un potentiel d'économies.

Growthbook s'intègre à votre projet Google Cloud et récupère des statistiques du projet BigQuery, qui doit être lié à votre ressource GA4. La cohérence des données est maintenue en envoyant un événement supplémentaire à GA4 lors de l'initialisation du script Growthbook avec les paramètres appropriés.

Ils ont leur éditeur visuel, quelques spécificités pour les SPA, et dans l'ensemble, l'application semble assez impressionnante en termes de rapport qualité-prix.

Les inconvénients sont le seuil d'entrée relativement élevé (vous ne pouvez pas publier une nouvelle version de conteneur GTM et oublier) et des coûts supplémentaires pour BigQuery. En dehors de cela, Growthbook est vraiment cool.

1ère place - Convert.com

Pensez à cela comme un Google Optimize sur stéroïdes. Simple, facile à comprendre, et léger. Peut être configuré via GTM, s'intègre bien avec GA4 - des audiences séparées sont créées pour chaque test. La structure des segments, des événements, et d'autres entités est intuitive. Vous pouvez utiliser plusieurs critères statistiques et travailler avec des aperçus de variantes.

Le coût mensuel pour 1 million d'UA est de 1100 $ avec un contrat annuel. Ils fournissent un support professionnel - le personnel peut offrir des conseils et même aider à ajuster des scripts si nécessaire.

Donc, si vous êtes à la recherche d'un remplacement complet pour Google Optimize à un prix raisonnable, n'hésitez pas à jeter un œil à Convert.

Hors concours

Confiance par Spotify – un service frais en format bêta, que je n'ai pas encore eu la chance d'essayer.

Modèle HTML personnalisé GTM. Si l'effet de scintillement ne vous dérange pas et que vous êtes d'accord pour tirer vos propres conclusions, vous pouvez développer votre propre modèle de balise Google Tag Manager ou améliorer un existant. Cela serait vraiment économique (pratiquement gratuit) et peut-être pas trop compliqué.

Je n'ai pas considéré les services en langue russe. Néanmoins, mon préféré reste Sigma par expf

Conclusion

Ceci était un aperçu de mes impressions détaillées et pas si détaillées de mes rencontres avec les services d'expérimentation A/B. Il pourrait y avoir des changements dans les prix et les fonctionnalités des applications après la publication - je m'excuse pour cela et suis toujours prêt à mettre à jour le contenu.

Les abonnés francophones peuvent lire plus de mes réflexions sur l'analyse marketing dans le "Attribution Model" canal Telegram.

Si vous avez apprécié cet article, veuillez envisager de laisser un like et de le partager avec des amis - cela compte beaucoup pour moi.

__________

Alex Ignatenko un expert en produit / analyse marketing d'Add2Cart, met en œuvre des projets complexes d'analyse marketing, résout les problèmes d'engorgement dans l'entonnoir d'acquisition, et construit un processus continu pour tester de nouvelles hypothèses. Alex utilise Amplitude Analytics, Google Analytics, SQL, et d'autres outils pour fournir des insights et recommandations exploitables qui favorisent l'optimisation des taux de conversion, la rétention des utilisateurs, et la croissance des revenus. Je collabore également avec des chefs de produit, des développeurs, et des marketeurs pour aligner la vision, la stratégie, et l'exécution du produit. 

0 commentaires


Laissez un commentaire