Вебхуки передают события доставки на ваш сервер по мере их возникновения: message.sent, message.delivered, message.failed. Это самый дешёвый способ синхронизировать вашу базу данных с каждым сообщением, а сбои у них случаются по самым обычным причинам: развёртывание, просроченный сертификат, правило межсетевого экрана, замедлившийся обработчик. В этой статье разбираем, что происходит при сбоях и как аккуратно восстановиться.
Почему доставка не удаётся
Попытка считается неудачной, если ваша конечная точка не ответила кодом 2xx в течение 5 секунд. На практике причины такие:
- Развёртывание или перезапуск, из-за которых конечная точка несколько минут недоступна.
- Просроченный или неправильно настроенный сертификат TLS.
- Правило межсетевого экрана или WAF, которое начинает блокировать наши запросы.
- Обработчик, который выполняет основную работу до ответа и под нагрузкой перестаёт укладываться в тайм-аут.
График повторных попыток
Неудачная доставка повторяется: 6 попыток в течение 24 часов с нарастающими интервалами — через минуту после первой неудачи, затем через пять минут, тридцать минут, два часа и двенадцать часов. Этого хватает, чтобы пережить развёртывание, перезапуск и большинство сбоев длиной в полдня. После последней попытки событие помечается как недоставленное.
Недоставленные события и повторная отправка
У каждой конечной точки в панели есть список недоставленных событий: он хранится 30 дней и содержит код ответа или ошибку последней попытки. Когда конечная точка исправлена, отправьте события повторно по одному или выберите их массово. Повторно отправленное событие сохраняет исходный идентификатор, но получает новую временную метку и подпись, поэтому обработчик, который отсеивает дубликаты по идентификатору события, обработает его ровно один раз, даже если более ранняя попытка на самом деле до вас дошла.
Состояние конечной точки
На той же странице для каждой конечной точки показаны доля успешных доставок, последняя ошибка и среднее время ответа. Если обработчик отвечает четыре секунды, это будет видно там ещё до того, как начнутся тайм-ауты.
Обработчик, который всё это выдержит
- Сначала проверяйте. Сверьте подпись HMAC-SHA256 из заголовка
X-Meteor-Signatureс исходным телом запроса и заголовкомX-Meteor-Timestampи отклоняйте устаревшие временные метки. Подпись доказывает, что событие отправили мы, а временная метка не позволяет никому другому отправить его повторно. - Подтверждайте быстро. Сохраните событие и сразу ответьте кодом 200, а основную работу выполните в фоновой задаче.
- Отсеивайте дубликаты. Храните идентификаторы обработанных событий и игнорируйте повторы. Повторные попытки и повторная отправка — нормальная ситуация, а не ошибка.
- Упорядочивайте по времени события, а не получения. Повторно отправленное событие
message.sentможет прийти послеmessage.deliveredтого же сообщения. Сортируйте поcreated_atи приоритету статуса и никогда не возвращайте сообщение из статуса «Доставлено» в «Отправлено». - Следите за работой. Настройте оповещения по собственной доле ошибок и проверяйте список недоставленных событий после каждого инцидента.
В руководстве по вебхукам в рабочей среде есть код для каждого шага.
Проверьте сценарий сбоя
С тестовым ключом вебхуки срабатывают точно так же, как рабочие, и подписываются, но ничего не отправляется. Проверьте с его помощью, что обработчик сверяет подписи, выдерживает дубликаты и соблюдает порядок статусов. Затем остановите конечную точку на несколько минут, продолжая отправлять тестовые сообщения, и снова запустите её: повторные попытки должны доставить пропущенные события, а ваша база данных — прийти в правильное состояние. Повторная отправка из списка недоставленных событий работает так же, с исходными идентификаторами событий.


