Автообеспечение и контроль достоверности данных в Smartis

Чтобы принимать правильные управленческие решения на основе данных - эти данные должны быть достоверными и полными.

В маркетинге и продажах с точки зрения сквозной аналитики может быть значительное количество источников данных. Например у одного из наших клиентов - одного из топовых застройщиков РФ – 92 источника. Одних только аккаунтов Яндекс.Директа – 36 шт.

Каждый из источников может в любой момент дать сбой. Например при изменении пароля пользователя того же Яндекс.Директа, который подключал интеграцию по oAuth 2.0 - доступ по API сбрасывается (Официальная документация). И таких ситуаций в каждом сервисе довольно много и они могут наступить в любой момент дня и ночи. Уследить за этим вручную - нереально, а достоверные данные нужны всегда.

Чтобы это обеспечить в сквозной аналитике Smartis создана подсистема автоматического контроля достоверности. Результат работы этой подсистемы – всегда перед глазами:

Что делает подсистема автоконтроля достоверности Smartis:

  1. Берет каждый подключенный источник данных
  2. Проверяет авторизацию. Если авторизация не удалась - помечает интеграцию статусом "Ошибка авторизации", уведомляет представителей клиента по email, создает задачу аккаунт-менеджерам Smartis.
  3. Если авторизация успешная - получает данные по API за последние 7 дней и сравнивает с тем, что доступно в Smartis. Если есть расхождения - добавляет в очередь задач синхронизации обновление данных за период, в котором найдено расхождение.
  4. В течение ближайших 2-3 часов обработает задачу на самовосстановление данных, залогирует причины для разработчиков Smartis, а в случае невозможности самовосстановить данные - зафиксирует в деталях окна достоверности причины отклонений.

Алгоритмы проверки достоверности сделаны расширяемыми, благодаря чему можно реализовать любую сколь-угодно сложную логику проверок. Например, эта же подсистема контролирует % проанализированных данных по моделям атрибуции и % найденных историй клиентов (Customer Journey Map).

Заходя в систему - одним взглядом становится понятно есть ли какие-то проблемы/нужны ли какие-то действия и можно ли доверять данным. Это значит что устранен риск принять неправильное управленческое решение из-за ошибки достоверности данных.

P.S. Спасибо Андрею Селивестрову и порталу https://2015.35awards.com/ за фотографию обложки "Под надежной защитой"