Три уровня показателей
Доставка показывает, что сообщение дошло. Вовлечение — что кто-то совершил действие: перешёл по ссылке, ответил, ввёл код. Результат — что отправка того стоила: заказ, бронирование, продление подписки. Отчёт о доставке даёт первый уровень; два других берутся из ваших собственных систем, и именно их нужно оптимизировать.
| Уровень | Вопрос | Где взять данные |
|---|---|---|
| Доставка | Дошло ли сообщение? | Отчёт о доставке: статусы, причины ошибок, цена каждого сообщения |
| Вовлечение | Совершил ли кто-то действие? | Ваша веб-аналитика, входящие ответы, проверка кодов |
| Результат | Стоило ли оно того? | Ваши заказы, бронирования и продления |
Перед отправкой запишите, какой результат засчитывается и в течение какого времени после отправки он может произойти: это окно атрибуции. Семь дней для продажи или 24 часа для срочного предложения — это выбор, а не правило. Важно сохранять одно и то же окно от кампании к кампании, чтобы показатели оставались сопоставимыми.
Как читать уровень доставки
Доля доставки — это доставленные сообщения, делённые на сообщения, переданные операторам. Отклонённые сообщения не учитывайте: они были отвергнуты до передачи оператору, никогда не оплачиваются, и это проблема файла, которую нужно исправить. Затем смотрите долю по каждому направлению, потому что отчёты о доставке различаются. Большинство направлений возвращают отчёты о доставке на устройство, где «доставлено» означает, что сообщение получил телефон; некоторые дают только подтверждение оператора, где окончательный положительный статус — Отправлено. Если усреднять оба типа, доля снижается, хотя ничего не случилось; на странице каждой страны указано, какой тип там действует.
Ошибки сгруппированы примерно в двенадцать понятных причин, у каждой — исходный код оператора; они разобраны в руководстве о причинах недоставки SMS. От рассылки к рассылке стоит отслеживать две доли: неизвестные номера, которые показывают, как быстро стареет список, и блокировки фильтром оператора, которые показывают, как операторы воспринимают ваш контент и отправителя.
Чтобы объединить данные о доставке с вашими собственными, экспортируйте отчёт в CSV или JSON: идентификатор сообщения, номер, статус, код оператора, временные метки и цена для каждого сообщения. Записи по сообщениям хранятся 90 дней, а сводки по кампаниям — бессрочно, поэтому экспортируйте то, что хотите сохранить. Тем, кто отправляет через API, объединять данные не нужно: reference длиной до 128 символов, например идентификатор заказа или пользователя, возвращается в ответах и в вебхуках, а события message.delivered и message.failed обновляют ваши записи по мере того, как происходят.
Ссылки, которые можно сосчитать
Используйте ссылку на собственном домене с параметром кампании, например ?c=sept-sale, и считайте посещения и заказы на своей стороне. Избегайте публичных сервисов сокращения ссылок: они чаще всего попадают под фильтры в SMS и скрывают ваш бренд. Короткий путь на вашем домене занимает столько же символов.
- Коротко в сообщении, полностью на сервере. Отправляйте
acme.example/s/boots, а ваш сервер пусть перенаправляет на полный адрес со всеми параметрами аналитики, которые вы используете. Сообщение тратит несколько символов, а аналитика получает всё. - Отдельная ссылка для каждого получателя, когда это нужно. Столбец уникальных кодов в файле импорта превращает
acme.example/r/{code}в персональную ссылку, и посещение указывает на конкретного получателя, а не только на кампанию. Делайте коды одинаковой длины, чтобы самый длинный итоговый вариант оставался предсказуемым, и никогда не помещайте в URL имя, адрес электронной почты или номер телефона. - Считайте людей, а не обращения к ссылке. Предпросмотр ссылок и автоматические сканеры могут открыть ссылку без чьего-либо нажатия. Уникальные посетители надёжнее общего числа обращений, а результаты — ещё надёжнее.
- Проверьте ссылку на телефоне до отправки. Нерабочая ссылка обесценивает всю кампанию, а отправленное сообщение нельзя отозвать.
Стоимость результата
Стоимость кампании, делённая на число результатов. При условном тарифе 0,01 доллара за сообщение кампания из 50 000 сообщений стоит 500 долларов; при 400 заказах это 1,25 доллара за заказ. Именно этот показатель, а не доля доставки, нужно сравнивать с электронной почтой или рекламой, и обычно именно он объясняет, почему SMS остаётся в медиамиксе.
Используйте фактически выставленную стоимость — сумму столбца цены в экспорте, — а не размер списка, умноженный на тариф. Она уже учитывает сегменты, тариф каждого направления, недоставленные сообщения, которые дошли до оператора и потому оплачиваются, и отклонённые, которые не оплачиваются. Чаще всего оценки ошибаются именно в сегментах. Та же кампания в двух сегментах стоит 1000 долларов, или 2,50 доллара за заказ; типографский апостроф, который переводит текст в три сегмента Unicode, поднимает эту цифру до 3,75 доллара. Руководство GSM-7 и Unicode объясняет, как уложиться в один сегмент.
Вместе картину дают три соотношения: стоимость доставленного сообщения, стоимость уникального перехода и стоимость результата. Если вы знаете маржу с заказа, последнее отвечает на самый важный вопрос: окупилась ли кампания?
Что на самом деле дали SMS
Атрибутированные результаты завышают эффект кампании, потому что часть этих клиентов сделала бы заказ в любом случае. Разницу измеряет контрольная группа. Перед отправкой отложите случайную долю списка, скажем 10%, и не отправляйте ей сообщения. После этого посчитайте все заказы каждой группы в пределах окна атрибуции, независимо от того, переходил ли кто-нибудь по ссылке.
Пример с условными цифрами: список из 50 000 номеров делится на 45 000 получателей и 5000 номеров в контрольной группе. Получатели делают 540 заказов, 1,2%; контрольная группа — 30, 0,6%. Кампания вызвала разницу: 0,6% от 45 000, то есть 270 заказов. При 0,01 доллара за сообщение отправка стоила 450 долларов: около 0,83 доллара за атрибутированный заказ, но около 1,67 доллара за заказ, который она действительно принесла. Именно вторую цифру честно сравнивать с другими каналами.
Контрольная группа не приносит тех результатов, которые дала бы ей рассылка, поэтому делайте её небольшой, но достаточно крупной, чтобы её показатели не были в основном делом случая; проверка, описанная ниже, применима и к ней.
Отписки как показатель
Доля отписок — это число отписок, делённое на число доставленных сообщений, для каждой отправки. Учитывайте оба способа отписаться. Для ответов вроде STOP нужен номер, который может их принять: буквенно-цифровые отправители работают только в одну сторону, а арендованный номер с приёмом входящих передаёт ответы на ваш вебхук, как описано на странице о двусторонних SMS. Ссылки для отписки на вашем домене вы считаете на своей стороне, как и любые другие ссылки.
Скачок после изменения частоты или тона — это сигнал аудитории. Сравнивайте каждую отправку с предыдущими отправками по тому же списку, а не с цифрой со стороны: если список, который обычно теряет 30 человек за отправку, теряет 120 после перехода с ежемесячных рассылок на еженедельные, ответ — в частоте. Отписки для этого списка окончательны, поэтому цена неудачной кампании выплачивается в каждой последующей. Так же работают жалобы, которых вы не видите: они попадают к операторам, и растущая доля блокировок фильтром в отчёте о доставке может быть их отголоском.
Сравнение двух рассылок: A/B-тесты
Меняйте по одному фактору: время, первые пять слов, предложение. Делите список случайно, а не по странам, потому что правила отправителя и доставка различаются по направлениям и заглушат эффект. Присвойте каждой половине своё значение campaign, чтобы отчёты можно было сопоставить. На практике A/B-тест, которому можно доверять, проходит так:
- Выберите переменную и решающий показатель до отправки. Показателем должен быть результат или хотя бы переход; доля доставки не отличит один текст от другого.
- Делите случайно. В таблице добавьте столбец случайных чисел, отсортируйте по нему и разрежьте список на равные части. Алфавитный порядок, дата подписки или страна незаметно добавляют второе различие.
- Всё остальное оставьте одинаковым: тот же отправитель, то же окно, тот же день, если только время не является переменной.
- Пометьте каждую группу собственным значением
campaignдлиной до 64 символов в API или отправьте каждую группу отдельной кампанией в панели. - Используйте одинаковое окно атрибуции для обеих групп.
- Тестируйте на выборке, затем масштабируйте. Две тестовые группы по 10%, а затем победивший вариант на оставшиеся 80% — так большая часть списка получит лучшую версию.
Реальна ли разница?
Небольшие различия между двумя группами часто случайны. Грубая проверка для групп одинакового размера: сложите два числа результатов, извлеките квадратный корень и умножьте на два. Если разница между числами больше этого значения, она, вероятно, реальна; если нет, считайте это ничьей и протестируйте что-то более смелое. При 200 заказах против 240 разница составляет 40, а порог — около 42: ничья. При 200 против 260 разница в 60 превышает порог около 43. Эта проверка подходит для подсчёта относительно редких событий, таких как заказы или переходы; для решений, от которых зависят реальные деньги, используйте полноценный тест значимости.
Что включить в отчёт
Отчёт, на основе которого можно принимать решения, умещается в одну таблицу на отправку; поставьте её рядом с таблицей предыдущей отправки по тому же списку:
| Показатель | Источник |
|---|---|
| Импортированные и неверные строки, объединённые дубликаты | Отчёт об импорте |
| Отправленные, доставленные, ошибки по причинам, просроченные, отклонённые | Отчёт о доставке, по направлениям |
| Кодировка и число сегментов в сообщении | Редактор или ответ API |
| Стоимость | Сумма столбца цены в экспорте |
| Уникальные переходы и ответы | Ваша аналитика и входящие ответы |
| Отписки и доля отписок | Ответы и ваша страница отписки |
| Результаты: атрибутированные и фактически вызванные | Ваши системы и контрольная группа |
| Стоимость результата | Расчёт |
Добавьте контекст, который объясняет цифры: текст, отправителя, окно и то единственное, что вы изменили. Через полгода цифра без причины — просто курьёз. О строках, касающихся доставки, читайте в статье о том, как прочитать отчёт о доставке за две минуты; остальные данные собирать и хранить вам.
Что-то непонятно или устарело? Сообщите нам на странице поддержки. Мы внесём исправления в руководство и обновим дату.
