چگونه یک سرویس آزمایش A/B را انتخاب کردم

دوران Google Optimize در حال به پایان رسیدن است - گوگل به‌طور رسمی اعلام کرده است که این خدمات را در شکل اولیه خود تا 30 سپتامبر متوقف خواهد کرد. با این حال، یک خبر خوب وجود دارد (حمد و ثنای خدا) - آنها پشتیبانی از برنامه‌های تست تقسیم شخص ثالث را برای ادغام با GA4 معرفی کرده‌اند. اینجاست که سفر من آغاز شد.

من الکس ایگناتنکو هستم و به شدت در تحلیل‌های بازاریابی غرق هستم. من در زمینه تصمیم‌گیری مبتنی بر داده مشاوره می‌دهم، راهنمایی در زمینه راه‌اندازی ارائه می‌کنم و همچنین به آموزش، توسعه و پیاده‌سازی مدل‌های تخصیص سفارشی و آزمایش‌های A/B کمک می‌کنم. علاوه بر این، یک کانال تلگرام را در زمینه تحلیل‌های بازاریابی با عنوان مناسب "مدل تخصیص" مدیریت می‌کنم.

در ماه گذشته، من به بررسی و آزمایش ده‌ها نرم‌افزار مختلف پرداخته‌ام و آن‌ها را با دموها، آزمایش‌های آزمایشی و تحلیل‌های جامع مستندات آزمایش کرده‌ام. هدف من یافتن بهترین‌ها بود، نرم‌افزارهایی که بتوانند جایگزین Google Optimize شوند بدون اینکه مرا در موقعیت دشواری قرار دهند.

این مقاله لیستی منتخب از برنامه‌های مورد استفاده در انجام و تحلیل آزمایش‌ها است - یک خط از گزینه‌هایی که می‌توانند به‌عنوان گزینه‌های viable برای Google Optimize که در حال غروب است، باشند. پس بیایید به عمق این موضوع بپردازیم.

معرفی - معیارهای کلیدی

به روح فلسفه اسکار وایلد، من اینجا را به‌سادگی و Elegantly نگه داشتم. همه ویژگی‌هایی که نیاز دارم به شرح زیر است:

• ادغام روان و بی‌دردسر با GA4.
• توانایی راه‌اندازی و مدیریت از طریق GTM.
• هدف‌گذاری دقیق از طریق متغیرهای dataLayer.
• انعطاف‌پذیری برای پیکربندی رویدادهای JS سفارشی (از طریق GTM) به عنوان هدف‌های آزمایشی.
• یک اشاره به ویرایشگر بصری بد نیست.
• پشتیبانی سریع و مفید یک نعمت خواهد بود.
• توانایی مدیریت 1 میلیون MAU بدون ایجاد بحران مالی.

مقام هشتم - Eppo

این افراد کمی عجیب هستند. من سه بار درخواست دمو ارسال کردم و هر بار به نظر می‌رسید که در هوا ناپدید شد. در نهایت، آنها مرا در لیست توزیع خود قرار دادند (خوشبختانه). وقتی به ایمیل آنها برای درخواست دمو پاسخ دادم، آنها لینک زمان‌بندی را برایم ارسال کردند. من زمانی را انتخاب کردم، به تماس به‌موقع پیوستم و مدتی منتظر ماندم. با قلبی پاک می‌گویم که هر چه در توان داشتم انجام دادم.

مقام هفتم - AB Tasty

یک برآورد تقریبی از هزینه (بر اساس سوالات مرتبط با ترافیک) تقریباً به حدود 100 هزار دلار در سال ختم شد. صادقانه بگویم، این می‌توانست کار را به پایان برساند. این خدمات به نظر می‌رسید که همه‌چیزهایی را که من به دنبالش بودم و بیشتر از آن ارائه می‌دهد، اما سوال مهمی بی‌جواب ماند - چرا این قیمت گزاف؟

مقام ششم - Optimizely

این نیز یک محصول غیرقابل انکار است که به طور خاص به سمت شرکت‌ها هدف‌گذاری شده است. در تماس اولیه ما، یک جلسه "دمو" به طرز ناخوشایندی به طول انجامید، عمده زمان ما به پاسخ به سوالات واجد شرایط گذشت. زمانی که توجه به سوالات من معطوف شد، آنها به من اطمینان دادند که یک پاسخ ایمیلی دقیق ارسال خواهد شد. این منصفانه بود.

و واقعاً، آن ایمیل به Inbox من رسید، حاوی پاسخ‌های نسبتاً جامع. تقریباً تمام موارد در چک‌لیست کوچک من بررسی شده بود. به جز، شاید، قیمت - 45 هزار دلار در سال (شاید کمی با عدد دقیق اختلاف داشته باشم، اما شما متوجه هستید - عذرخواهی می‌کنم، تیم Optimizely). علاوه بر این، به علت عدم وجود گزینه آزمایش (که بخشی از طرح نیست)، مجبور شدم آن را به سطوح پایین‌تر رتبه‌بندی کنم.

مقام پنجم - Kameleoon

یک خدمات جذاب. این با قیمت کمی پایین‌تر ارائه می‌شود - بر اساس نیازهای من، حدود 35 هزار یورو در سال - و شامل مجموعه‌ای از جالب (اگرچه نه کاملاً ضروری برای من) قابلیت‌های شخصی‌سازی و هوش مصنوعی است. مدیران ادعا می‌کنند این خدمات سریع‌ترین زمان پاسخ در صنعت و کمترین تأثیر را بر اثر چشمک‌زنی دارند.

خانم‌های مؤدب و دوستانه وقتی از آنها برای دسترسی به آزمایش درخواست کردم کمی تردید کردند. متأسفانه، آن تردید هنوز ادامه دارد. بنابراین، مقام پنجم است.

مقام چهارم - ABsmartly

یک خدمات جوان اما بسیار impressive از افرادی که قبلاً در Booking.com کار می‌کردند. تماس دمو با یکی از بنیانگذاران جوناس آلوِس (مدیر محصول سابق آزمایش‌ها در @ Booking) بود و این اولین مکالمه در طول تحقیقات من بود که طرف مقابل بیشتر بر روی سوالات پیش‌اکیپ متمرکز نبود بلکه به جزئیات فنی و آماری پرداخته بود.

من به ترتیب تجربه آزمایشی آنها جذب شدم - با نظرات شرکت‌کنندگان، تاریخچه و سایر عناصر - نوعی ترکیب بین یک کانال Slack و یک سند Confluence.

همچنین، من به تأکید آنها بر روی آزمایش‌های ترتیبی علاقه‌مند شدم. این به شما اجازه می‌دهد چندین آزمایش را به‌صورت همزمان اجرا کنید و نتایج نسبتاً سریع و معنی‌داری بدست آورید.

متأسفانه، AB Smartly ویرایشگر بصری و ادغام بی‌دردسر GA4 را ارائه نمی‌دهد. بنابراین، به نقطه‌ای که هزینه‌ها را مورد بحث قرار دهیم نرسیدیم.

مقام سوم - VWO

سه رقیب برتر تمام ویژگی‌هایی که نیاز داشتم و امکان دسترسی به آزمایش را داشتند.

Visual Website Optimizer - یک سرویس هندی با سابقه طولانی. این دارای یک داشبورد کاربرپسند و مستندات دقیق است. کانال‌های پشتیبانی نسبتاً پاسخگو هستند. من باید کمی با ادغام GA4 آشنا شوم، اما چیزی حیاتی نبود. آنها نصب از طریق GTM را توصیه نمی‌کنند.

برای تحلیل، آنها از روش‌های مبتنی بر فراوانی و بیزی، انواع مختلف متریک و غیره استفاده می‌کنند. همه چیز به‌خوبی به نظر می‌رسید، به جز قیمت - بر اساس محدودیت‌هایم، مجبور شده بودم 3750 دلار در ماه پرداخت کنم که برای یک سری آزمایشات ساده به نظر کمی زیاد بود.

مقام دوم - GrowthBook (YC W22)

اولین و تنها سرویسی است که قیمت‌گذاری به ترافیک وابسته نیست. یک هزینه سالانه ثابت 10 هزاری دلار برای هر حساب وجود دارد. این شامل 10 میلیون درخواست API در هر ماه است و درخواست‌های اضافی 100 دلار برای 10 میلیون است. برای سادگی، می‌توانید یک درخواست را برابر با یک جلسه در نظر بگیرید. همچنین، مکانیزم‌هایی برای کش درخواست‌ها وجود دارد، بنابراین پتانسیل صرفه‌جویی در اینجا وجود دارد.

Growthbook با پروژه Google Cloud شما یکپارچه شده و آمار را از پروژه BigQuery استخراج می‌کند که باید به منبع GA4 شما متصل شده باشد. انسجام داده با ارسال یک رویداد اضافی به GA4 در زمان راه‌اندازی اسکریپت Growthbook با پارامترهای مناسب حفظ می‌شود.

آنها ویرایشگر بصری خود را دارند، برخی ویژگی‌ها برای SPAs و در کل، برنامه به لحاظ ارزش برای قیمت بسیار قابل توجه به نظر می‌رسد.

معایب شامل بار ورودی نسبتاً بالاست (شما نمی‌توانید نسخه جدید GTM را منتشر کرده و فراموش کنید) و هزینه‌های اضافی برای BigQuery. به جز این، Growthbook واقعاً قیمتی عالی دارد.

مقام اول - Convert.com

آن را مانند Google Optimize بر روی استروئیدها تصور کنید. ساده، آسان برای درک و سبک. می‌توان از طریق GTM تنظیم کرد و به‌خوبی با GA4 یکپارچه می‌شود - برای هر آزمایش مخاطبان جداگانه‌ای ایجاد می‌شود. ساختار بخش‌ها، رویدادها و سایر موجودیت‌ها شهودی است. شما می‌توانید معیارهای آماری مختلفی را استفاده کنید و با پیش‌نویس‌های متغیر کار کنید.

هزینه ماهانه برای 1 میلیون MAU، 1100 دلار با قرارداد سالانه است. آنها پشتیبانی حرفه‌ای ارائه می‌دهند - کارکنان می‌توانند راهنمایی کنند و حتی در صورت لزوم به تنظیم اسکریپت‌ها کمک کنند.

بنابراین، اگر به دنبال یک جایگزین جامع برای Google Optimize هستید که قیمت مناسبی داشته باشد، به‌طور قطع نگاهی به Convert بیندازید.

خارج از مسابقه

اعتماد به نفس توسط Spotify – یک خدمات تازه در فرمت بتا که هنوز فرصتی برای آزمایش آن نداشته‌ام.

قالب HTML سفارشی GTM. اگر از اثر چشمک‌زنی ناراحت نیستید و با نتیجه‌گیری‌های خود مشکلی ندارید، می‌توانید خودتان یا قالب موجود Google Tag Manager را بهبود ببخشید. این واقعاً اقتصادی خواهد بود (اصلاً رایگان) و شاید خیلی پیچیده نباشد.

من به خدمات به زبان روسی توجه نکرده‌ام. با این حال، مورد علاقه من همچنان Sigma از expf

نتیجه‌گیری

این ترسیمی از برداشت‌های دقیق و نه چندان دقیق من از برخوردهایم با خدمات آزمایش A/B بود. ممکن است پس از انتشار تغییراتی در قیمت‌گذاری و عملکرد برنامه‌ها وجود داشته باشد – از این بابت عذرخواهی می‌کنم و همیشه آماده‌ام تا محتوا را به‌روزرسانی کنم.

مشترکان به زبان روسی می‌توانند بیشتر از افکار من در زمینه تحلیل‌های بازاریابی در "مدل تخصیص" تلگرام بخوانند.

اگر این پست را دوست داشتید، لطفاً در نظر داشته باشید که یک لایک بگذارید و آن را با دوستان خود به اشتراک بگذارید - برای من ارزشمند است.

__________

الکس ایگناتنکو یک کارشناس تحلیل بازاریابی / محصول در Add2Cart است که پروژه‌های پیچیده تحلیل بازاریابی را پیاده‌سازی می‌کند، مشکلات گلوگاه در قیف جذب را حل می‌کند و یک فرآیند استریمینگ برای آزمایش فرضیات جدید می‌سازد. الکس از Amplitude Analytics، Google Analytics، SQL و سایر ابزارها استفاده می‌کند تا بینش‌ها و توصیه‌های عملی را ارائه دهد که منجر به بهینه‌سازی نرخ تبدیل، حفظ کاربران و رشد درآمد شود. من همچنین با مدیران محصول، توسعه‌دهندگان و بازاریابان همکاری می‌کنم تا چشم‌انداز محصول، استراتژی و اجرای آن را هماهنگ کنم.