Как повысить эффективность Viber-кампаний с помощью A/B тестирования

Даже самое тонкое, наработанное годами маркетинговое чутье периодически нуждается в проверке. А если это ваши первые запуски смс-рассылок, и вы боитесь промахнуться и слить рекламный бюджет, предварительно проведите тестирование контента.

Один из самых распространенных методов проверки гипотезы в маркетинге — это А/В-тестирование, или сплит-тест.

Протестировать можно тему сообщения, его дизайн, эффективность CTA-кнопки и даже шутку, которая, по мнению ваших копирайтеров, должна принести вам «тысячи кликов».

Как провести A/B тесты в Viber? Что именно тестировать в первую очередь? Всегда ли высокие результаты сплит-тестов гарантируют успех кампании? Обо всем этом поговорим в этой статье.

Что такое A/B тестирование в контексте Viber-кампаний?

A/B тестирование (также известное как сплит-тестирование) — это метод эксперимента из традиционного маркетинга для сравнения двух или более контрольных элементов с целью выяснить, какие из них дают лучший результат.

А/Б тестирование в Вайбере — это тестирование на реальной аудитории различных версий сообщения для определения его наиболее эффективного формата и наполнения. В контексте Viber сплит-тест может включать испытания различных текстов, изображений, призывов к действию и тому подобное.

Цель всех таких экспериментов одна: до запуска на полную базу контактов выявить тот вариант рассылки, который «цепляет» лучше всего, и таким образом повысить показатели открытия, кликов и конверсий.

Важно: делать сплит-тесты для сравнения эффективности вариантов имеет смысл, если вы делаете регулярные смс-рассылки и у вас большая база (от 5000 контактов), иначе возрастает риск получения случайных, недостоверных результатов.

Подготовка к A/B тестированию: А/А тест и цели эксперимента и цели эксперимента

Не надо делать эксперимент ради эксперимента. Перед запуском тестовой рассылки, обязательно определитесь с целью: что именно вы хотите подтвердить или опровергнуть? В некоторых случаях есть смысл провести также А/А тестирование.

А/А тест: зачем сравнивать одинаковое?

Согласно результатам исследования Instapage, результаты около 80% А/Б тестов не подтверждаются на практике. Чтобы избежать недостоверных выводов, и придумали А/А тесты.

A/A-тест — это одновременный запуск двух одинаковых (!) вариантов сообщения, чтобы выяснить, можно ли будет доверять результатам будущего A/Б-теста.

Такое тестирование нужно для 3 моментов:

• определить, корректно ли работает выбранный вами сервис для тестирования;
• оценить доверительный интервал конверсии: если колебания в пределах 2- 3%, то при A/Б-тесте изменение в пределах этого диапазона не будет иметь значения;
• определить минимальный размер выборки для качественного A/Б теста.

Как правильно провести A/A-тест?

1. Запустите тест в той же системе, где планируете проводить A/Б тестирование рассылок Вайбер.
2. Задайте идентичные варианты сообщения.
3. Наблюдайте за результатами — показатели должны выровняться, хотя поначалу и может быть несущественная разница.
4. Момент, когда показатели контрольных групп начинают выравниваться (разница до 5%), показывает, какая минимальная выборка нужна для А/Б тестирования.

Самое важное: А/А тестирование не должно выявить победителя! Колебания показателя конверсии в пределах 2-3% считаются допустимыми и непоказательными и при A/Б-тесте.

Что значит, если A/A-тест все же показывает победителя?

Это может быть случайность. Статистически один из 20 А/А тестов может показывать ложное преимущество какого-то из вариантов. Но если «победитель» есть в 2-3 тестах подряд — время искать причину аномалии, это сигнал, что есть технические проблемы с настройками, сервисом или выборкой.

Определение целей для сплит-тестирования

Перед началом настройки А/Б тестирования четко сформулируйте, что именно вы хотите узнать: какую гипотезу проверить? Выберите один (!) переменный параметр для одного эксперимента.

Какие могут быть гипотезы для маркетинговых экспериментов в мобильных рассылках?

Вот 5 важных вопросов, ответ на которые маркетолог может найти именно через А/Б тестирование:

1. Влияет ли изменение СТА на количество кликов?
   Гипотеза: призыв к действию, который создает ощущение срочности, например: «Заказать с доставкой уже завтра», приведет к большему количеству кликов по сравнению с нейтральным «Узнать больше об акции».
2. Меняется ли коэффициент открытия (Open Rate) сообщений в зависимости от времени отправки?
   Гипотеза: рассылка Вайбер по своей базе во второй половине дня в будни дает лучший процент открытий.
3. Влияет ли обращение по имени на повышение конверсии в Viber?
   Гипотеза: персонализация сообщений через обращение к пользователю по имени «Лена, мы подготовили для вас скидку!» повысит конверсию (например, клики или покупки), по сравнению с сообщением «Мы подготовили для вас скидку!».
4. Меняет ли объем текста в SMS уровень вовлечения?
   Гипотеза: короткое сообщение (до 1 SMS) привлекает больше внимания и дает более высокий CTR, чем длинное (2 и более части).
5. Влияет ли использование эмодзи в тексте на количество переходов?
   Гипотеза: сообщение с эмодзи дает более высокий коэффициент кликов (CTR).

Также можно тестировать разные варианты подачи информации: вопросительные предложения, экспрессивные призывы, интригующие заголовки, акцент на боли ЦА, юмор и т.д.

Совет: если у вас есть только 1 попытка (один тест) — тестируйте на CTR.

Настройка A/B тестирования Viber: пошаговая инструкция

На этапе подготовки вы уже определили цель своего сплит-теста: увеличить переходы по ссылке, повысить конверсии (покупки или регистрация) или уменьшить отписки.

Соответственно, вы уже знаете, какие именно показатели хотелось бы улучшить в следующей кампании: конверсию, Open Rate или CTR.

Далее двигайтесь по инструкции:

1. Выберите элемент для тестирования. Этот элемент в эксперименте называется «переменная». Тестируйте только один элемент за раз, чтобы точно определить, что именно влияет на результаты. Это могут быть: текст, изображение, СТА, кнопки, время отправки.
2. Сформулируйте гипотезу, которую вы хотите проверить тестом. Условная формула гипотезы такова: если мы меняем Х, то показатель Y возрастет/снизится.
3. Создайте два варианта сообщения: вариант без изменений называется контрольным, вариант с внесением изменений по выдвинутой гипотезе — тестовым.
4. Разделите вашу аудиторию для теста на равные части (минимум 2) случайным образом. В каждой группе должно быть минимум 1000 получателей, иначе будет слишком высокая погрешность.
5. Запустите тест. Отправьте разные варианты сообщений соответствующим группам одновременно. Это позволит избежать влияния внешних факторов, таких как день недели или время суток. Конечно, если вы тестируете время отправки, то отправлять нужно в разное время.
6. Соберите и проанализируйте данные, в первую очередь — тот показатель, который вы выбрали ключевым для исследования. Сравните результаты между группами, чтобы определить самый эффективный вариант. Обязательно проверьте статистическую значимость этих данных.

Статистическая значимость (СЗ) — это математическое измерение, которое указывает, насколько вероятно, что результаты A/B-теста не являются случайными, а отражают реальные различия между вариантами. Другими словами, вычисление СЗ покажет, можно ли доверять результатам теста и принимать на их основе бизнес-решения.

Сделать это можно через специальные онлайн-калькуляторы A/Б тестов, такие как: VWO, ABTestguide, SurveyMonkey и LimeSurvey.

Каким должен быть уровень статистической значимости, чтобы результаты теста считались надежными?

Ориентируемся на показатель СЗ в 95%. Это стандартный порог, который используется в большинстве маркетинговых A/Б-тестов. Он означает, что существует лишь 5% вероятности того, что выявленные различия являются случайными.

Пример А/Б теста для рекламной рассылки магазина одежды

Рассмотрим пошагово процесс А/Б тестирования Вайбер-рассылки для магазина одежды. Кейс нашего постоянного заказчика бизнес-рассылок, который пожелал остаться неназванным.

Итак, онлайн-магазин одежды готовится запустить смс-рассылки в Whatsapp и Viber на свою базу клиентов с предложением получить поощрительную скидку 20% на новую коллекцию.

Шаг 1. Выбрали цель теста: повысить CTR по сравнению с предыдущими кампаниями.

Шаг 2. Сформулировали гипотезу: «Если мы добавим в SMS обращение к клиенту по имени, то CTR вырастет, потому что персонализированные сообщения лучше привлекают внимание пользователя».

Шаг 3. Выбрали переменную — добавленное имя получателя.

Шаг 4. Выбрали ключевую метрику эксперимента - CTR.

Шаг 5. Определили и распределили аудиторию для тестовой рассылки. Выборка: 10 000 контактов, чьи имена известны компании, разделили на 2 группы по 5000 участников.

Шаг 6. Рассылку Вайбер-сообщений через платформу AlphaSMS запустили в среду в 15 часов — по аналитике это лучшее время для этой аудитории.
Группа А (контрольная): получили сообщения без персонализации: «-20% на новую коллекцию весна-лето! Выбирайте свой стиль здесь: ссылка».
Группа Б (тестовая): получили персонализированные сообщения, например: «Анастасия, -20% на новую коллекцию весна-лето! Ваш стиль ждет здесь: ссылка».

Шаг 7. Анализ результатов тестирования.
Группа А (без имени): 190 переходов по ссылке из 5000 отправленных сообщений, то есть CTR составляет 3,8%. 
Группа Б (обращение по имени): 310 переходов по ссылке из 5000 отправленных сообщений, CTR - 6,2%.

Поэтому по данным нашего теста, CTR увеличился на 63% в группе с персонализацией. Результаты проверяем на калькуляторе статистической значимости, результат: СЗ < 0.01, полученные результаты достоверны. Гипотеза подтверждена!

Шаг 8. Внедрение результатов А/Б теста.

Все последующие рассылки для тех, чье имя известно, магазин обоснованно решил делать персонализированными.

Настройка A/Б тестирования в Viber невозможна - что же делать?

Поскольку платформа Viber не имеет встроенного функционала для A/Б тестов, команда AlphaSMS предлагает своим клиентам простой и эффективный способ реализации таких тестов вручную, с детальной поддержкой на каждом этапе.

Клиент формирует два или более вариантов рассылки (A, Б и т.д.) со ссылкой — например, с разными текстами, призывами к действию или временем отправки. Для каждого варианта создается отдельная кампания.

Настройка трекинга ссылок перед запуском. Это ключевой элемент A/Б теста, ведь именно переход по уникальной ссылке позволяет измерить эффективность каждого из вариантов. Мы помогаем настроить трекинговые ссылки, которые обеспечивают отслеживание показателей кампании: количество переходов, время клика, общий CTR.

Этого вполне достаточно для сравнения кампаний в Вайбере.

Вместо выводов: как избежать ошибок при А/Б тестировании

Часто маркетологи жалуются, что A/B тесты в Viber-рассылках дают ложные или неточные результаты. Это происходит из-за незначительных ошибок в организации эксперимента и из-за спешки.

Поэтому перед тем, как сделать рассылку в Вайбере для проверки вашей новой маркетинговой гипотезы, проверьте, не допустили ли вы какую-то из этих ошибок, которые неизбежно приведут ваше исследование к ложным выводам.

Самые распространенные ошибки при А/Б тестировании в Вайбер-рассылках:

Тестирование нескольких элементов одновременно. При нескольких переменных в тестовой версии вы не сможете в итоге определить, какая из них повлияла на результат.

Малая выборка для тестовой рассылки. Когда гипотезу тестируют на 300-500 контактах и делают выводы после 10-20 переходов, результат скорее всего будет случайным и не подтвердится при масштабировании кампании.

Преждевременное завершение. Маркетолог видит, что сразу после запуска один вариант «выстреливает» и останавливает тест, считая, что это и есть «победитель». Но ранний отрыв может быть случайным. Статистическая значимость формируется только со временем и на достаточном объеме данных.

Неодновременный запуск разных вариантов, когда тестируем не время отправки. Отправка сообщений в разное время может повлиять на результаты теста, например: вы не сможете выяснить, собрал ли победитель больше переходов. Потому что имел более эффективную кнопку, или потому что время доставки лучше.

Неправильное распределение аудитории. Для валидного A/B теста группы должны быть одинакового размера, но с рандомным подбором участников из базы. Когда маркетологи делят базу без рандомизации — по алфавиту, времени подписки или истории покупок — группы могут существенно отличаться по поведению, и результат теста не будет объективным. Например, одна группа активнее другой — и победит не лучший вариант, а группа, участники которой имеют более тесный контакт с брендом.

A/Б тестирование — это действенный инструмент для проверки гипотез в мобильном маркетинге. Тестируйте форматы, формулировки и частоту ваших рассылок. Есть идея, но еще не знаете, как ее проверить — обращайтесь за консультацией к нашей команде, мы поможем вам спроектировать эффективный эксперимент.