A/B-тесты рассылок

A/B-тест отвечает на один вопрос: какой из двух вариантов письма приносит больше. В RetailCRM можно разделить аудиторию на части, отправить им разные версии и сравнить результат по объективной метрике. Разбираем, как поставить корректный тест и не сделать ложных выводов.

Что такое A/B-тест рассылки

A/B-тест — это эксперимент, в котором аудитория случайно делится на группы, каждая получает свою версию письма, а затем варианты сравниваются по заранее выбранной метрике. Цель — понять, что реально работает на вашей базе, а не на абстрактных «лучших практиках».

Ключевое правило: в одном тесте проверяется одна переменная. Если вы одновременно поменяли тему, картинку и кнопку, вы не поймёте, что именно повлияло на результат. Меняйте что-то одно за раз.

Что тестировать в первую очередь

Не все элементы письма влияют на результат одинаково. Начинайте с того, что даёт наибольший эффект при наименьших усилиях.

Логика простая: сначала добиваемся, чтобы письмо открывали (тема, отправитель), потом — чтобы кликали (оффер, CTA), потом — чтобы покупали (контент, посадочная страница).

Как настроить тест в RetailCRM

Механика A/B-теста в RetailCRM строится вокруг разбиения аудитории и сравнения версий. Общая последовательность:

1. Сформируйте сегмент получателей — базу для теста;
2. Разделите его на равные случайные группы (например, A и B по 50%);
3. Подготовьте две версии письма, отличающиеся только тестируемым элементом;
4. Отправьте версии одновременно, чтобы исключить влияние времени;
5. Дождитесь окончания периода сбора данных и сравните метрики.

Отдельный приём — тест на части базы. Вы тестируете версии на небольшой доле аудитории (например, по 10% на A и B), определяете победителя, а победившую версию отправляете оставшимся 80%. Так вы не теряете основную часть базы на проигравшем варианте.

Размер выборки и длительность

Самая частая ошибка — вывод на слишком маленькой базе. Если в каждой группе по 40 человек, разница в один-два клика ничего не значит: это шум, а не сигнал.

• Минимальный порог — от нескольких сотен получателей в каждой группе, а лучше от тысячи;
• Длительность — для открываемости обычно достаточно 4–24 часов, для кликов и заказов — от суток до нескольких дней;
• Не подглядывайте раньше времени — не объявляйте победителя через час после отправки, дайте выборке набраться.

По какой метрике выбирать победителя

Метрика победителя должна соответствовать тому, что вы тестировали. Тест темы оценивают по открываемости, тест оффера и CTA — по кликам, а итоговую эффективность — по заказам и выручке.

• Тест темы или отправителя → Open Rate;
• Тест оффера, кнопки, контента → CTR или CTOR (клики от открытий);
• Тест целой концепции письма → конверсия в заказ и выручка на письмо.

Важно смотреть на конечную метрику, а не только на промежуточную. Тема может дать высокую открываемость за счёт кликбейта, но провалить конверсию. Поэтому итог оценивают по деньгам, а промежуточные метрики помогают понять, на каком шаге воронки произошёл сдвиг.

Типичные ошибки

A/B-тесты легко провести формально и получить бесполезный результат. Вот что сводит эксперимент на нет:

1. Две переменные сразу — непонятно, что повлияло;
2. Маленькая выборка — разница случайна;
3. Разное время отправки — тестируется не то, что задумано;
4. Ранние выводы — метрики ещё не стабилизировались;
5. Разовый тест — один результат нельзя переносить на все будущие рассылки без повторной проверки;
6. Игнорирование выручки — оценка только по открытиям или кликам.

Хорошая практика — вести журнал тестов: гипотеза, что меняли, размер выборки, результат и вывод. Со временем это превращается в базу знаний о вашей аудитории, которая ценнее любого чужого чек-листа.

Итог

Корректный A/B-тест в RetailCRM — это одна гипотеза, случайное разбиение на достаточно большие группы, одновременная отправка и оценка по правильной метрике. Начинайте с темы и оффера, доводите тесты до конца и фиксируйте выводы. Так рассылки становятся лучше не по наитию, а по данным.

Мы помогаем выстроить систему регулярных тестов: от настройки сегментов и правил маркетинга до сквозной аналитики, где видно влияние писем на выручку. Если хотите, чтобы рассылки развивались осмысленно, поможем поставить процесс тестирования на поток.