Автообеспечение и контроль достоверности данных в Smartis

by Игорь Балашов

Чтобы принимать правильные управленческие решения на основе данных – эти данные должны быть достоверными и полными.

В маркетинге и продажах, с точки зрения сквозной аналитики, может быть значительное количество источников данных. Например, у одного из наших клиентов – ТОП застройщиков РФ – 92 источника. Одних только аккаунтов в Яндекс.Директе 36 шт.

Каждый из источников может в любой момент дать сбой. Например, при изменении пароля пользователя того же Яндекс.Директа, который подключал интеграцию по oAuth 2.0 – доступ по API сбрасывается (Официальная документация). Таких ситуаций в каждом сервисе довольно много и они могут случиться в любой момент дня или ночи. Уследить за этим вручную – нереально. А достоверные данные нужны всегда.

Чтобы это обеспечить в сквозной аналитике Smartis создана подсистема автоматического контроля достоверности. Результат работы этой подсистемы – всегда перед глазами:

Что делает подсистема автоконтроля достоверности Smartis:

  1. Берет каждый подключенный источник данных
  2. Проверяет авторизацию. Если авторизация не удалась – помечает интеграцию статусом "Ошибка авторизации". Уведомляет представителей клиента по e-mail и создает задачу аккаунт-менеджерам Smartis.
  3. Если авторизация успешная – получает данные по API за последние 7 дней и сравнивает с тем, что доступно в Smartis. Если есть расхождения, то добавляет в очередь задач синхронизации – обновление данных за период, в котором найдено расхождение.
  4. В течение ближайших 2-3 часов обработает задачу на самовосстановление данных, залогирует причины для разработчиков Smartis, а в случае невозможности самовосстановить данные – зафиксирует в деталях окна достоверности и причины отклонений.

Алгоритмы проверки достоверности сделаны расширяемыми, благодаря чему можно реализовать любую сложную логику проверок. Например, эта же подсистема контролирует % проанализированных данных по моделям атрибуции и % найденных историй клиентов (Customer Journey Map).

Заходя в систему с одного взгляда становится понятно, есть ли какие-то проблемы/нужны ли какие-то действия и можно ли доверять данным. Это значит что устранен риск принять неправильное управленческое решение из-за ошибки достоверности данных.

P.S. Спасибо Андрею Селивестрову и порталу https://2015.35awards.com/ за фотографию обложки "Под надежной защитой"