Як підвищити ефективність Viber-кампаній за допомогою A/B тестування

Навіть найтонше, напрацьоване роками маркетингове чуття періодично потребує перевірки. А якщо це ваші перші запуски смс-розсилок, і ви боїтесь схибити та злити рекламний бюджет, попередньо проведіть тестування контенту.

Один із найпоширеніших методів перевірки гіпотези у маркетингу — це А/В-тестування, або спліт-тест.

Протестувати можна тему повідомлення, його дизайн, ефективність CTA- кнопки та навіть жарт, який, на думку ваших копірайтерів, має принести вам «тисячі кліків».

Як провести A/B тести у Viber? Що саме тестувати в першу чергу? Чи завжди високі результати спліт-тестів гарантують успіх кампанії? Про все це поговоримо у цій статті.

Що таке A/B тестування у контексті Viber-кампаній?

A/B тестування (також відоме як спліт-тестування) — це метод експерименту з традиційного маркетингу для порівняння двох або більше контрольних елементів з метою з’ясувати, які з них дають кращий результат.

А/Б тестування у Вайбері — це тестування на реальній аудиторій різних версій повідомлення для визначення його найефективнішого формату та наповнення. У контексті Viber спліт-тест може включати випробування різних текстів, зображень, закликів до дії тощо.

Мета усіх таких експериментів одна: до запуску на повну базу контактів виявити той варіант розсилки, який «чіпляє» найкраще, і таким чином підвищити показники відкриття, кліків та конверсій.

Важливо: робити спліт-тести для порівняння ефективності варіантів є сенс, якщо ви робите регулярні смс-розсилки і у вас велика база (від 5000 контактів), інакше зростає ризик отримання випадкових, недостовірних результатів.

Підготовка до A/B тестування: А/А тест та цілі експерименту

Не треба робити експеримент заради експерименту. Перед запуском тестової розсилки, обов’язково визначтеся з метою: що саме ви хочете підтвердити або спростувати? В деяких випадках є сенс провести також А/А тестування.

А/А тест: навіщо порівнювати однакове?

Згідно результатів дослідження Instapage, результати близько 80% А/Б тестів не підтверджуються на практиці. Аби уникнути недостовірних висновків, і придумали А/А тести.

A/A-тест — це одночасний запуск двох однакових (!) варіантів повідомлення, щоб з’ясувати, чи можна буде довіряти результатам майбутнього A/Б-тесту.

Таке тестування потрібне для 3 моментів:

• визначити, чи коректно працює обраний вами сервіс для тестування;
• оцінити довірчий інтервал конверсії: якщо коливання в межах 2- 3%, то при A/Б-тесті зміна в межах цього діапазону не матиме значення;
• визначити мінімальний розмір вибірки для якісного A/Б тесту.

Як правильно провести A/A-тест?

1. Запустіть тест у тій же системі, де плануєте проводити A/Б тестування розсилок Вайбер.
2. Задайте ідентичні варіанти повідомлення.
3. Спостерігайте за результатами — показники мають вирівнятись, хоча спочатку і може бути несуттєва різниця.
4. Момент, коли показники контрольних груп починають вирівнюватись (різниця до 5%), показує, яка мінімальна вибірка потрібна для А/Б тестування.

Найважливіше: А/А тестування не повинне виявити переможця! Коливання показника конверсії у межах 2-3% вважається допустимими та непоказовим і при A/Б-тесті.

Що значить, якщо A/A-тест все ж таки показує переможця?

Це може бути випадковість. Статистично один з 20 А/А тестів може показувати хибну перевагу котрогось з варіантів. Але якщо «переможець» є у 2-3 тестах поспіль — час шукати причину аномалії.Це сигнал, що є технічні проблеми з налаштуваннями, сервісом або вибіркою.

Визначення цілей для спліт-тестування

Перед початком налаштування А/Б тестування чітко сформулюйте, що саме ви хочете дізнатися: яку гіпотезу перевірити? Оберіть один (!) змінний параметр для одного експерименту.

Які можуть бути гіпотези для маркетингових експериментів у мобільних розсилках?

Ось 5 важливих запитань, відповідь на які маркетолог може знайти саме через А/Б тестування:

1. Чи впливає зміна СТА на кількість кліків?
   Гіпотеза: заклик до дії, який створює відчуття терміновості, наприклад: «Замовити з доставкою вже завтра», призведе до більшої кількості кліків у порівнянні з нейтральним «Дізнатися більше про акцію».
2. Чи змінюється коефіцієнт відкриття (Open Rate) повідомлень залежно від часу відправлення?
   Гіпотеза: розсилка Вайбер по своїй базі в другій половині дня у будні дає кращий відсоток відкриттів.
3. Чи впливає звернення на ім’я на підвищення конверсії у Viber?
   Гіпотеза: персоналізація повідомлень через звернення до користувача на ім’я «Олено, ми підготували для вас знижку!» підвищить конверсію (наприклад, кліки або покупки), порівняно з повідомленням «Ми підготували для вас знижку!».
4. Чи змінює обсяг тексту в SMS рівень залучення?
   Гіпотеза: коротке повідомлення (до 1 SMS) привертає більше уваги і дає вищий CTR, ніж довге (2 і більше частини).
5. Чи впливає використання емодзі в тексті на кількість переходів?
   Гіпотеза: повідомлення з емодзі дає вищий коефіцієнт кліків (CTR).

Також можна тестувати різні варіанти подачі інформації: питальні речення, експресивні заклики, інтригуючі заголовки, акцент на болі ЦА, гумор тощо.

Порада: якщо у вас є лише 1 спроба (один тест) — тестуйте на CTR.

Налаштування A/B тестування Viber: покрокова інструкція

На етапі підготовки ви вже визначили мету свого спліт-тесту: збільшити переходи за посиланням, підвищити конверсії (покупки чи реєстрація) або зменшити відписки.

Відповідно, ви вже знаєте, які саме показники хотілося б поліпшити у наступній кампанії: конверсію, Open Rate чи CTR.

Далі рухайтесь за інструкцією:

1. Виберіть елемент для тестування. Цей елемент в експерименті називається «змінна». Тестуйте лише один елемент за раз, аби точно визначити, що саме впливає на результати. Це можуть бути: текст, зображення, СТА, кнопки, час відправлення.
2. Сформулюйте гіпотезу, яку ви хочете перевірити тестом. Умовна формула гіпотези така: якщо ми змінюємо Х, то показник Y зросте/знизиться.
3. Створіть два варіанти повідомлення: варіант без змін називається контрольним, варіант з внесенням змін за висунутою гіпотезою — тестовим.
4. Розділіть вашу аудиторію для тесту на рівні частини (мінімум 2) випадковим чином. У кожній групі має бути мінімум 1000 отримувачів, інакше буде надто висока похибка.
5. Запустіть тест. Відправте різні варіанти повідомлень відповідним групам одночасно. Це дозволить уникнути впливу зовнішніх факторів, таких як день тижня або час доби. Звісно, якщо ви тестуєте час відправки, то відправляти треба у різний час.
6. Зберіть та проаналізуйте дані, в першу чергу — той показник, який ви обрали ключовим для дослідження. Порівняйте результати між групами, щоб визначити найефективніший варіант. Обов’язково перевірте статистичну значущість цих даних.

Статистична значущість (СЗ) — це математичний вимір, який вказує, наскільки ймовірно, що результати A/B-тесту не є випадковими, а відображають реальні відмінності між варіантами. Іншими словами, обчислення СЗ покаже, чи можна довіряти результатам тесту та приймати на їх основі бізнес-рішення.

Зробити це можна через спеціальні онлайн-калькулятори A/Б тестів, такі як: VWO, ABTestguide, SurveyMonkey та LimeSurvey.

Яким має бути рівень статистичної значущості, аби результати тесту вважались надійними?

Орієнтуємось на показник СЗ в 95%. Це стандартний поріг, який використовується в більшості маркетингових A/Б-тестів. Він означає, що існує лише 5% ймовірності того, що виявлені відмінності є випадковими.

Приклад А/Б тесту для рекламної розсилки магазину одягу

Розглянемо покроково процес А/Б тестування Вайбер-розсилки для магазину одягу. Кейс нашого постійного замовника бізнес-розсилок, який забажав бути не названим.

Тож онлайн-магазин одягу готується запустити смс-розсилки у Whatsapp та Viber на свою базу клієнтів з пропозицією отримати заохочувальну знижку 20% на нову колекцію.

Крок 1. Обрали мету тесту: підвищити CTR у порівнянні з попередніми кампаніями.

Крок 2. Сформулювали гіпотезу: «Якщо ми додамо в SMS звертання до клієнта на ім’я, то CTR зросте, бо персоналізовані повідомлення краще привертають увагу користувача».

Крок 3. Обрали змінну — додане ім’я отримувача.

Крок 4. Обрали ключову метрику експерименту – CTR.

Крок 5. Визначили та розподілили аудиторію для тестової розсилки. Вибірка: 10 000 контактів, чиї імена відомі компанії, розділили на 2 групи по 5000 учасників.

Крок 6. Розсилку Вайбер-повідомлень через платформу AlphaSMS запустили в середу о 15 годині — за аналітикою це найкращий час для цієї аудиторії.
Група А (контрольна): отримали повідомлення без персоналізації: «-20% на нову колекцію весна-літо! Обирайте свій стиль тут: посилання».
Група Б (тестова): отримали персоналізовані повідомлення, наприклад: «Анастасіє, -20% на нову колекцію весна-літо! Ваш стиль чекає тут: посилання».

Крок 7. Аналіз результатів тестування.
Група А (без імені): 190 переходів за посиланням із 5000 надісланих повідомлень, тобто CTR складає 3,8%. 
Група Б (звертання на ім’я): 310 переходів за посиланням із 5000 надісланих повідомлень, CTR – 6,2%.

Тож за даними нашого тесту, CTR збільшився на 63% у групі з персоналізацією. Результати перевіряємо на калькуляторі статистичної значущості, результат: СЗ < 0.01, отримані результати достовірні. Гіпотеза підтверджена!

Крок 8. Впровадження результатів А/Б тесту.

Всі наступні розсилки для тих, чиє ім’я відоме, магазин обґрунтовано вирішив робити персоналізованими.

Налаштування A/Б тестування у Viber неможливе — що ж робити?

Оскільки платформа Viber не має вбудованого функціоналу для A/Б тестів, команда AlphaSMS пропонує своїм клієнтам простий і ефективний спосіб реалізації таких тестів вручну, з детальною підтримкою на кожному етапі.

Клієнт формує два або більше варіантів розсилки (A, Б, тощо) з посиланням — наприклад, з різними текстами, закликами до дії чи часом відправки. Для кожного варіанта створюється окрема кампанія.

Налаштування трекінгу посилань перед запуском. Це ключовий елемент A/Б тесту, адже саме перехід за унікальним посиланням дає змогу виміряти ефективність кожного з варіантів. Ми допомагаємо налаштувати трекингові посилання, які забезпечують відстеження показників кампанії: кількість переходів, час кліку, загальний CTR.

Цього цілком достатньо для порівняння кампаній у Вайбері.

Замість висновків: як уникнути помилок при А/Б тестуванні

Часто маркетологи скаржаться, що A/B тести в Viber-розсилках дають хибні або неточні результати. Це стається через незначні помилки в організації експерименту і через поспіх.

Тож перед тим, як зробити розсилку у Вайбері для перевірки вашої нової маркетингової гіпотези, перевірте, чи не припустились ви котроїсь із цих помилок, які неминуче приведуть ваше дослідження до хибних висновків.

Найпоширеніші помилки при А/Б тестуванні у Вайбер-розсилках:

Тестування кількох елементів одночасно. При кількох змінних у тестовій версії ви не зможете у підсумку визначити, яка з них вплинула на результат.

Замала вибірка для тестової розсилки. Коли гіпотезу тестують на 300–500 контактах і роблять висновки після 10–20 переходів, результат найімовірніше буде випадковим і не підтвердиться при масштабуванні кампанії.

Передчасне завершення. Маркетолог бачить, що одразу після запуску один варіант «вистрілює» і зупиняє тест, вважаючи, що це і є «переможець». Але ранній відрив може бути випадковим. Статистична значущість формується лише з часом і на достатньому обсязі даних.

Неодночасний запуск різних варіантів, коли тестуємо не час відправки. Відправлення повідомлень у різний час може вплинути на результати тесту, наприклад: ви не зможете з’ясувати, чи переможець зібрав більше переходів. Бо мав ефективнішу кнопку, чи тому що час доставка кращий.

Неправильний розподіл аудиторії. Для валідного A/B тесту групи мають бути однакового розміру, але з рандомним підбором учасників з бази. Коли маркетологи ділять базу без рандомізації — за алфавітом, часом підписки чи історією покупок — групи можуть суттєво відрізнятись за поведінкою, і результат тесту не буде об’єктивним. Наприклад, одна група активніша за іншу — і переможе не кращий варіант, а група, учасники якої мають тісніший контакт з брендом.

A/Б тестування — це дієвий інструмент для перевірки гіпотез у мобільному маркетингу. Тестуйте формати, формулювання й частоту ваших розсилок. Маєте ідею, але ще не знаєте, як її перевірити — звертайтесь за консультацією до нашої команди, ми допоможемо вам спроєктувати ефективний експеримент.