Ера Google Optimize підходить до завершення – Google вже оголосила, що вони поступово закриють сервіс у його початковій формі до 30 вересня. Однак є й хороші новини (аль трохи) – вони впровадили підтримку сторонніх додатків для спліт-тестування, щоб інтегруватися з GA4. Ось тут і розпочалася моя подорож.
Я Алекс Ігнатенко, і я глибоко занурений у маркетингову аналітику. Я консультуйте щодо ухвалення рішень на основі даних, надаю рекомендації щодо налаштування, а також допомагаю в навчанні, розробці та впровадженні користувацьких моделей атрибуції та A/B експериментів. Крім того, я кураторую Telegram-канал, присвячений маркетинговій аналітиці, коректно названий "Модель атрибуції".
Протягом минулого місяця я досліджував безліч різних програмних продуктів, піддаючи їх випробуванням за допомогою демонстрацій, пробних версій та детального аналізу документації. Моя мета полягала в тому, щоб знайти найкращі з найкращих, ті, які могли б замінити Google Optimize, не залишивши мене без допомоги.
Ця стаття є кураторським списком додатків для проведення та аналізу експериментів – ряд продуктів, які могли б стати життєздатними альтернативами Google Optimize, коли він завершить своє існування. Тож давайте зануримось у це.
Вступ – Ключові критерії
В дусі філософії Оскара Уайльда я зробив це елегантно простим. Усі функції, які мені потрібні, це:
- Гладка та безперешкодна інтеграція з GA4.
- Можливість налаштування та управління через GTM.
- Точне націлення через змінні dataLayer.
- Гнучкість налаштування користувацьких JS подій (через GTM) як цілі експерименту.
- Трохи візуального редактора не завадить.
- Чуйна та корисна підтримка була б благословенням.
- Здатність обробляти 1 мільйон MAU без фінансової кризи.
8-е місце – Eppo
Ці хлопці трохи дивні. Я подав запит на демонстрацію тричі, і кожного разу, здавалося, він зникав безслідно. Врешті-решт, вони внесли мене до свого списку розсилки (спасибі за це). Коли я відповів на їхній електронний лист із запитом на демонстрацію, вони надіслали мені посилання для запису. Я вибрав час, приєднався до дзвінка відповідно до графіку та чекав. Клянусь, я зробив усе, що міг.
7-е місце – AB Tasty
Приблизна оцінка вартості (на основі запитів, пов'язаних з трафіком) виявилася близько 100 тис. доларів на рік. Чесно кажучи, це могло б підсумувати справи. Сервіс, здавалося, пропонує все, що я шукаю, і навіть більше, але залишив важливе запитання без відповіді – чому така висока ціна?
6-е місце – Optimizely
Ось ще один продукт, який цілеспрямовано орієнтований на підприємства. Під час нашого першого дзвінка, деяке примхливе "демо", більшість нашого часу витратилась на те, що я відповідав на кваліфікаційні запитання. Коли увага знову повернулася до моїх запитів, вони запевнили мене, що детальний електронний лист із відповіддю буде надіслано. Зрозуміло.
І справді, той електронний лист з'явився в моїй поштовій скриньці з надзвичайно детальними відповідями. Практично всі мої скромні запитання були підняті. Хіба що, мабуть, щодо ціни – висока 45 тис. доларів на рік (я можу трохи помилятися з точною цифрою, але ви зрозуміли ідею – вибачайте, команда Optimizely). Окрім того, через відсутність можливості пробного доступу (який не є частиною плану), я змушений був зрушити цей продукт на нижчі рівні мого рейтингу.
5-те місце - Kameleoon
Цікавий сервіс. Він коштує трохи менше – відповідно до моїх вимог, близько 35 тис. євро на рік – і включає безліч цікавих (хоча й не надто необхідних для мене) функцій персоналізації та штучного інтелекту. Менеджери стверджують, що він має найшвидший час реагування в індустрії та найменший вплив на мерехтіння.
Ввічливі та дружні дівчата зробили трохи паузу, коли я попросив про доступ до пробної версії. На жаль, ця пауза триває досі. Тож він займає 5-те місце.
4-те місце - ABsmartly
Молодий, але досить вражаючий сервіс від людей, які раніше працювали в Booking.com. Демонстраційний дзвінок відбувся з одним із засновників Йонасом Алвесом (колишній власник продукту в Experiment @ Booking), і це була перша розмова під час моїх досліджень, де інша особа не надто звертала увагу на попередні запитання, а натомість занурилася у технічні та статистичні нюанси.
Мене вразило, як вони організували журнал експериментів – з коментарями учасників, історією та іншими елементами – свого роду поєднання з каналу Slack і документа в Confluence.
Також мені подобається їх акцент на послідовному тестуванні. Це дає можливість запускати кілька експериментів одночасно та отримувати досить швидкі та значущі результати.
На жаль, AB Smartly не пропонує візуального редактора та безшовної інтеграції з GA4. Тож ми не дійшли до обговорення вартостей.
3-тє місце - VWO
Трійка лідерів мала всі функції, які мені були потрібні, та можливість пробного доступу.
Visual Website Optimizer – індійський сервіс з довгою історією. Він має досить зручну панель інструментів та детальну документацію. Канали підтримки досить чуйні. Мені довелося трохи покрутити з інтеграцією GA4, але нічого критичного. Вони не рекомендують установку через GTM.
Для аналізу вони пропонують методи на основі частоти та байєсівські методи, різні типи метрик і т.д. Все здається непоганим, окрім ціни – згідно з моїми обмеженнями, мені довелося б платити 3750 доларів на місяць, що видається трохи надто дорогим для серії простих експериментів.
2-ге місце - GrowthBook (YC W22)
Перший і єдиний сервіс, де ціна не залежить від трафіку. Є фіксована річна плата у 10 тисяч доларів за рахунок. Це включає 10 мільйонів викликів API на місяць, а додаткові коштують 100 доларів за 10 мільйонів. Для простоти ви можете вважати, що один запит дорівнює одній сесії. Крім того, є механізми для кешування запитів, тому є можливість зекономити.
Growthbook інтегрується з вашим проектом Google Cloud і отримує статистику з проекту BigQuery, який має бути пов'язаний з вашим ресурсом GA4. Сумісність даних підтримується за допомогою надсилання додаткової події до GA4 під час ініціалізації скрипту Growthbook з відповідними параметрами.
Вони мають свій візуальний редактор, деякі специфікації для SPA, а в цілому додаток виглядає досить вражаюче за свою вартість.
Недоліки – відносно високий бар'єр входу (ви не можете опублікувати нову версію контейнера GTM і забути) та додаткові витрати на BigQuery. Окрім цього, Growthbook реально класний.
1-ше місце - Convert.com
Думайте про це як про Google Optimize на стероїдах. Простой, зрозумілий і легкий. Можна налаштувати через GTM, добре інтегрується з GA4 – окремі аудиторії створюються для кожного тесту. Структура сегментів, подій та інших сутностей є інтуїтивно зрозумілою. Ви можете використовувати кілька статистичних критеріїв і працювати з попереднім переглядом варіантів.
Щомісячна вартість за 1 мільйон MAU становить 1100 доларів за річним контрактом. Вони надають професійну підтримку – співробітники можуть надати рекомендації та навіть допомогти налаштувати скрипти, якщо це необхідно.
Отже, якщо ви шукаєте всебічну заміну Google Optimize за розумною ціною, обов’язково зверніть увагу на Convert.
Вихід з конкурсу
Confidence від Spotify – свіжий сервіс у форматі бета, який я ще не мав можливості спробувати.
GTM Custom HTML Template. Якщо вам не заважає ефект мерехтіння та ви готові зробити висновки самостійно, ви можете розробити свій або покращити існуючий шаблон тега Google Tag Manager. Це буде дійсно економічно ефективно (фактично безкоштовно) і, можливо, не надто складно.
Я не розглядав сервіси російською мовою. Проте моїм фаворитом залишається Sigma від expf
Висновок
Це було ескізом моїх детальних і не зовсім детальних вражень від зустрічей з сервісами A/B експериментування. Після публікації можуть бути зміни в цінах та функціональності додатків – вибачте за це, і я завжди готовий оновити контент.
Російськомовні підписники можуть прочитати більше моїх думок щодо маркетингової аналітики в "Модель атрибуції" Telegram-каналі.
Якщо вам сподобався цей пост, будь ласка, розгляньте можливість залишити лайк і поділитися ним з друзями – це для мене має велике значення.
__________
Алекс Ігнатенко експерт з аналітики продукту/маркетингу компанії Add2Cart, реалізує складні проекти маркетингової аналітики, вирішує проблеми з вузькими місцями в купівельному воронці та будує процес стримінгу для тестування нових гіпотез. Алекс використовує Amplitude Analytics, Google Analytics, SQL та інші інструменти для надання практичних знань та рекомендацій, які сприяють оптимізації конверсії, утриманню користувачів та зростанню доходів. Я також співпрацюю з менеджерами продуктів, розробниками та маркетологами для узгодження бачення, стратегії та виконання продукту.
0 comments