Как синхронизировать данные между системами
Иллюзия синхронности: как данные живут в распределённой системе
В корпоративной информационной системе редко бывает так, что все данные находятся в одном месте.
CRM хранит клиентов и историю взаимодействия с ними. ERP отвечает за заказы, финансовый и управленческий учёт. MES работает с производственными операциями. WMS — со складскими остатками и движением товаров. Отдельные сервисы могут отвечать за документы, мобильные приложения, аналитику или взаимодействие с внешними системами. Каждая система решает свою задачу и поэтому хранит собственное представление данных.
Проблема возникает в тот момент, когда один объект используется сразу в нескольких системах.
Например, в ERP изменился статус заказа:
CRM об этом пока не знает. Через несколько минут менеджер открывает CRM и видит старый статус:
Какая система права?
На самом деле обе системы могут быть технически исправны. Просто между ними существует задержка синхронизации.
Именно поэтому интеграция данных — это не только вопрос передачи информации из одной системы в другую. Необходимо определить:
- › какая система является источником истины;
- › когда данные считаются изменёнными;
- › как изменение доставляется;
- › допустима ли задержка;
- › что делать при ошибке;
- › что произойдёт при повторной доставке;
- › как обнаружить пропущенное изменение;
- › как разрешать конфликтующие изменения.
И чем больше систем участвуют в процессе, тем важнее эти правила.
Сначала нужно определить, что именно означает «синхронизация»
Слово «синхронизация» часто используется слишком широко.
«Передать данные из системы A в систему B».
// Но это только один из вариантов.
Настоящая задача может выглядеть иначе:
«Когда в ERP изменяется заказ, CRM должна узнать об этом не позднее чем через 30 секунд».
«Остаток товара в мобильном приложении не должен отличаться от WMS более чем на пять минут».
«Если документ изменился, все зависимые системы должны получить новую версию».
У каждой задачи свои требования.
Поэтому до выбора API, очереди или брокера сообщений сначала нужно определить:
насколько актуальными должны быть данные и какую задержку бизнес действительно считает допустимой.
У данных должен быть источник истины
Представим, что информация о клиенте присутствует в трёх системах:
Возникает простой вопрос: где находится правильное значение?
- › Если менеджер изменил телефон клиента в CRM, должна ли ERP тоже менять его?
- › А если пользователь изменил телефон непосредственно в ERP?
- › А если два изменения произошли почти одновременно?
Без заранее определённого владельца данных системы начинают конкурировать между собой.
Поэтому для ключевых сущностей обычно определяют System of Record — систему-источник, которая является авторитетной для конкретного типа данных.
Например:
Это не означает, что остальные системы не могут хранить копии. Они могут.
Но копия не должна неожиданно превращаться во второй источник истины.
Почему нельзя просто обновлять все системы одновременно
На первый взгляд кажется логичным сделать так:
Пользователь изменил данные — сразу обновили всё.
Проблема начинается, когда одна из систем недоступна. Например:
Что теперь считать успешной операцией?
Изменение в ERP уже произошло. CRM и WMS обновились. Аналитика — нет.
Нужно ли откатывать всё назад? Можно ли откатить изменение?
А если ошибка возникла после обновления ещё пяти систем?
С ростом числа зависимых систем попытка сделать все изменения одной синхронной транзакцией становится всё сложнее.
Именно здесь появляется различие между синхронным и асинхронным обменом.
Синхронный обмен: ответ нужен сразу
При синхронной интеграции одна система обращается к другой и ждёт ответа.
Например:
ERP запрашивает у WMS актуальный остаток.
WMS отвечает:
Только после получения ответа ERP продолжает операцию.
Такой подход хорошо подходит, когда результат действительно нужен здесь и сейчас.
Например:
- › проверить наличие товара;
- › получить актуальный статус;
- › проверить права;
- › запросить стоимость;
- › подтвердить операцию;
- › получить данные для продолжения бизнес-процесса.
Но у синхронной модели есть цена.
Если система B недоступна, система A может тоже оказаться заблокированной.
Асинхронный обмен: результат придёт позже
При асинхронном взаимодействии система отправляет сообщение и не обязана ждать немедленного ответа.
Например, ERP сообщает:
Это событие помещается в очередь.
CRM, аналитическая система и другие потребители получают его самостоятельно.
Если CRM временно недоступна, сообщение может оставаться в очереди до момента, когда CRM снова сможет его обработать.
Это одно из главных преимуществ асинхронной архитектуры:
временная недоступность одной системы не обязательно останавливает источник изменения.
Но асинхронность означает eventual consistency
Если системы обмениваются данными асинхронно, они не обязаны быть одинаковыми в каждый момент времени.
Например:
Между этими состояниями система находится в состоянии eventual consistency — согласованности, достигаемой со временем.
Это не ошибка.
Это сознательно выбранная архитектурная модель.
Главное — чтобы бизнес понимал допустимую задержку.
Не всякие данные можно обновлять с задержкой
Представим склад.
1 единица товара.
Мобильное приложение показывает:
5 единиц.
Если пользователь может оформить заказ на все пять, проблема уже не просто техническая.
Она превращается в бизнес-ошибку.
Поэтому для каждой сущности нужно определить допустимую свежесть данных.
Например:
Допустимая задержка сама по себе не гарантирует корректность бизнес-операции. Если два процесса одновременно работают с последней единицей товара, необходимо отдельно обеспечить атомарное резервирование или проверку доступности на стороне системы, которая управляет остатками.
Главное — не пытаться сделать все данные абсолютно синхронными, если бизнесу это не требуется.
Событие и команда — не одно и то же
В интеграционной архитектуре полезно различать два понятия.
Команда означает:
Например: Создай заказ.
Событие означает:
Например: Заказ создан.
Это важное различие.
Команда адресована конкретному обработчику.
Событие может быть опубликовано для нескольких потребителей:
Таким образом, новые потребители можно добавлять без изменения исходного бизнес-процесса.
Очередь решает не все проблемы
Очередь часто воспринимают как универсальное лекарство:
Но очередь не отвечает на вопросы:
- › что является источником истины;
- › как разрешать конфликты;
- › какая версия данных актуальна;
- › можно ли обработать сообщение повторно;
- › что делать с устаревшим событием;
- › как восстановить пропущенные сообщения.
Очередь или брокер сообщений обеспечивает определённые гарантии передачи сообщений, но не заменяет правила владения данными, разрешения конфликтов и восстановления согласованного состояния.
Самая неприятная ситуация — повторная доставка
Представим:
CRM получила сообщение:
Она обновила запись.
Но подтверждение обработки не дошло до очереди: например, соединение оборвалось после обновления записи в CRM.
Очередь считает, что сообщение не было обработано, и отправляет его ещё раз.
CRM получает:
снова.
Это называется повторной доставкой.
В распределённых системах она является нормальной ситуацией.
Поэтому обработчики сообщений должны быть готовы к тому, что одно и то же событие может прийти несколько раз.
Идемпотентность — одно из ключевых свойств интеграции
Если операция идемпотентна, её повторное выполнение не приводит к нежелательному дополнительному эффекту.
Например:
можно выполнить несколько раз. Результат останется: CONFIRMED.
А вот операция:
при повторной доставке может списать деньги дважды.
Поэтому для критичных операций необходимо продумывать защиту от повторного выполнения. Например, использовать:
- › уникальный идентификатор операции;
- › идентификатор события;
- › таблицу обработанных сообщений;
- › уникальный ключ;
- › контроль версии;
- › механизм дедупликации.
«Доставить хотя бы один раз» и «доставить ровно один раз»
В распределённых системах часто говорят о гарантиях доставки.
сообщение будет доставлено как минимум один раз.
- Плюс: сообщение не должно потеряться незаметно.
- Минус: оно может прийти повторно.
Поэтому обработчик должен быть идемпотентным.
сообщение обрабатывается максимум один раз.
- Здесь риск обратный: сообщение может быть потеряно.
Гарантия выглядит привлекательнее: каждое сообщение обработано ровно один раз.
Но в распределённой системе это гораздо сложнее обеспечить на уровне всей бизнес-операции.
Поэтому на практике обычно сочетают надёжную доставку сообщений с идемпотентной обработкой.
А что если сообщения пришли не по порядку?
Допустим, произошли два изменения:
2. Заказ → SHIPPED
SHIPPED
CONFIRMED
И в итоге заказ снова оказался в статусе:
Проблема возникает из-за нарушения порядка обработки событий.
Для некоторых процессов необходимо контролировать последовательность изменений. Если сообщения обрабатываются в порядке поступления без проверки их версий, устаревшее состояние может перезаписать новое. Чтобы этого избежать, используют:
- › порядковые номера событий;
- › версии объектов;
- › временные метки (timestamp);
- › разбиение потока на разделы (partitioning) с учётом требований к порядку;
- › ключи упорядочивания;
- › проверку предыдущего состояния.
Версия объекта иногда важнее времени
Допустим, система получила:
version = 17
status = SHIPPED
Заказ №4821
version = 16
status = CONFIRMED
Если просто смотреть на порядок поступления сообщений, можно записать устаревшее состояние поверх нового.
Если же система сравнивает версии:
она понимает, что второе сообщение уже устарело.
Поэтому версия объекта позволяет проверять актуальность данных и отбрасывать устаревшие изменения. При этом версии должны формироваться в рамках согласованного механизма. Если разные системы независимо присваивают версии одному объекту, простого сравнения чисел может оказаться недостаточно для разрешения конфликта.
Что делать, если две системы изменили одни и те же данные
Представим:
Обе системы изменили один объект.
Какое значение правильное?
Варианты могут быть разными:
- › ERP всегда главнее;
- › CRM всегда главнее;
- › победитель определяется версией;
- › конфликт отправляется оператору;
- › изменения объединяются;
- › одна система вообще не имеет права менять это поле.
Это уже не техническая задача очереди.
Это правило управления данными.
Если правила не определены, система не сможет гарантированно разрешить конфликт самостоятельно.
Синхронизировать нужно не обязательно всю сущность
Допустим, в CRM есть клиент:
Имя
Телефон
Адрес
Менеджер
Статус
Дата последнего контакта
Имя
Адрес
Нет необходимости передавать всю запись при каждом изменении.
Можно передавать только необходимые поля либо событие, описывающее изменение. При этом контракт должен определять, означает ли отсутствие поля отсутствие изменения или его удаление.
Но здесь возникает другая сложность:
частичная синхронизация увеличивает требования к контракту данных.
Нужно понимать, какие поля принадлежат какой системе и кто имеет право их менять.
Полная синхронизация и обмен изменениями
Есть два распространённых подхода.
Например:
id
name
phone
address
}
- Преимущество — получатель получает целостное состояние.
- Недостаток — больше данных и риск перезаписать изменения, которые были сделаны в другой системе.
Например:
customer_id = 4821
new_phone = ...
version = 18
- Преимущество — меньше данных и более точная модель событий.
- Недостаток — получателю нужно корректно обрабатывать последовательность изменений.
Выбор зависит от предметной области и архитектуры.
Как понять, что данные действительно актуальны
Простой вопрос:
может оказаться недостаточным.
Лучше хранить технические признаки:
- › время изменения источника;
- › время получения;
- › версию объекта;
- › идентификатор события;
- › время обработки;
- › статус обработки.
Например:
Source version: 37
Changed at: 12:43:15
Received at: 12:43:17
Processed at: 12:43:18
По этим временным меткам можно оценить задержку доставки и обработки, а по версии объекта — проверить, насколько актуальное состояние получено. Для корректных измерений важно учитывать синхронизацию часов между системами.
Контроль задержки должен быть частью мониторинга
Если обычная задержка между ERP и CRM составляет две секунды, а затем увеличивается до пяти минут, система должна обнаружить это отклонение.
Можно контролировать:
И вычислять:
- › задержка;
- › количество сообщений в очереди;
- › возраст самого старого необработанного события;
- › количество ошибок;
- › количество повторных попыток;
- › количество сообщений в dead-letter queue.
Так появляется возможность контролировать не только доступность интеграции, но и актуальность данных.
Что делать с ошибочными сообщениями
Представим, CRM не может обработать событие.
Очередь может повторить попытку:
Attempt 2 → ошибка
Attempt 3 → ошибка
Но бесконечно повторять одно и то же сообщение тоже неправильно.
После определённого количества попыток сообщение можно отправить в отдельную область для разбора:
Dead Letter Queue.
Условная схема:
Это позволяет изолировать сообщения, которые не удалось обработать после предусмотренных повторных попыток, и продолжить обработку остальных. При этом необходимо контролировать очередь ошибочных сообщений и предусмотреть их повторную обработку после устранения причины сбоя.
Нельзя забывать о «зависших» данных
Иногда проблема не в том, что интеграция полностью сломалась.
Например:
CRM продолжает работать, но обрабатывает сообщения медленнее, чем они поступают.
В результате данные постепенно устаревают.
Пользователь видит:
При этом API доступен, очередь принимает сообщения, а серверы исправны.
Проблема — накопившаяся очередь необработанных сообщений.
Поэтому для асинхронных интеграций важен не только факт доступности компонентов, но и скорость прохождения данных через весь конвейер.
Что происходит при временной недоступности системы
Допустим, CRM отключилась на 20 минут.
При правильно построенной асинхронной архитектуре:
Это значительно лучше, чем потерять все изменения за период недоступности.
Но и здесь есть условие:
сообщения должны действительно сохраняться, а система-получатель должна уметь корректно обработать накопившийся поток.
Иногда очередь вообще не нужна
Не каждую интеграцию необходимо строить на брокере сообщений.
Если системе нужно получить актуальный курс валют один раз в час, достаточно обычного API-запроса.
Если необходимо синхронно проверить наличие товара перед оформлением заказа, асинхронная очередь может только усложнить процесс.
Если же нужно распространить одно событие на десятки независимых систем, асинхронная модель может оказаться гораздо удобнее.
Поэтому вопрос должен звучать не:
а:
Синхронный и асинхронный обмен часто используются вместе
В реальных системах редко бывает чистая модель.
Например:
ERP может синхронно проверить критически важное условие, а затем асинхронно сообщить другим системам о произошедшем событии.
Такой гибридный подход часто оказывается наиболее практичным.
Синхронизация — это ещё и вопрос владения данными
Чем больше систем участвуют в обмене данными, тем важнее заранее определить правила владения информацией. Особенно это актуально, когда синхронизация в реальном времени слишком дорога, но длительные расхождения между системами недопустимы. Нужно заранее определить:
- › кто создаёт сущность;
- › кто изменяет её;
- › кто только читает;
- › какие поля принадлежат конкретной системе;
- › кто отвечает за качество данных;
- › какая версия считается актуальной;
- › как удаляются записи;
- › как обрабатываются конфликты.
Например:
Такой подход позволяет избежать ситуации, когда несколько систем пытаются одновременно быть главным владельцем одной и той же информации.
А что делать с удалением?
Удаление часто оказывается сложнее создания и обновления.
Если запись удалена в ERP, что должна сделать CRM?
- › Физически удалить её?
- › Пометить как архивную?
- › Сохранить историю?
А если CRM была недоступна в момент удаления?
После восстановления она должна узнать, что объект был удалён.
Поэтому интеграционный контракт должен учитывать не только:
Updated
но и:
или иной механизм, позволяющий восстановить актуальное состояние.
Полная синхронизация иногда нужна именно для восстановления
Даже если система работает на событиях, полезно иметь механизм периодической сверки.
Почему это важно?
Потому что в реальной инфраструктуре могут возникнуть:
- › потерянные сообщения;
- › ошибки обработки;
- › ручные изменения;
- › сбои интеграции;
- › ошибки миграции;
- › некорректные данные.
Периодическая сверка (reconciliation) позволяет сравнивать данные между системами и обнаруживать расхождения.
Reconciliation: когда две системы нужно сверить
Представим, что ERP считает:
CRM:
14 817 заказов.
Аналитическая система:
14 819.
Это не обязательно означает катастрофу.
Но необходимо понять:
- › какие записи отсутствуют;
- › какие данные устарели;
- › какие операции не были доставлены;
- › где возникло расхождение.
Для критичных процессов полезно предусмотреть процедуру reconciliation — контролируемую сверку данных между системами.
Это особенно важно там, где абсолютная согласованность в реальном времени слишком дорога, но расхождения недопустимы в долгосрочной перспективе.
Интеграционный слой может стать отдельной системой
Когда систем становится много, прямые связи начинают быстро усложняться.
Например:
Интеграционный слой помогает централизовать общие механизмы обмена, однако не должен автоматически становиться владельцем бизнес-логики всех подключённых систем.
В определённый момент появляется смысл выделить интеграционный слой:
Он может отвечать за:
- › маршрутизацию;
- › преобразование форматов;
- › авторизацию;
- › очереди;
- › повторные попытки;
- › журналирование;
- › мониторинг;
- › преобразование событий.
Но и здесь есть опасность.
Если интеграционный слой превращается в гигантский монолит со всей бизнес-логикой компании, вместо упрощения архитектуры можно получить новую критическую зависимость.
Как выбрать подход к синхронизации
Можно использовать простую логику.
Подходит синхронный API-вызов.
Можно рассмотреть асинхронное событие.
Очередь помогает пережить такой период.
Нужна идемпотентная обработка.
Нужен контроль последовательности или версий.
Необходимо определить правила владения и разрешения конфликтов.
Нужны механизмы сверки и контроля актуальности.
Практический пример: заказ между ERP, WMS и CRM
Представим типичный корпоративный процесс. Клиент оформил заказ.
ERP создаёт заказ и становится источником его финансового и управленческого состояния.
После этого появляется событие:
Оно отправляется в интеграционный слой.
WMS создаёт задание на комплектацию.
После комплектации появляется:
После отгрузки:
CRM получает эти события и показывает менеджеру актуальный статус.
Аналитическая система использует события для формирования отчётности.
При этом ERP остаётся владельцем бизнес-состояния заказа, а WMS — операционного состояния складского процесса.
Такой подход позволяет каждой системе заниматься своей задачей, не превращая одну систему в универсальный источник всех данных.
Что чаще всего ломается в реальных интеграциях
На практике проблемы редко начинаются с самого API.
Гораздо чаще встречаются ситуации:
- › разные справочники в системах;
- › разные идентификаторы одной сущности;
- › отсутствие владельца данных;
- › несовместимые форматы;
- › повторная доставка;
- › потеря порядка событий;
- › устаревшие сообщения;
- › отсутствие контроля версий;
- › неучтённые удаления;
- › ошибки преобразования;
- › ручные изменения в обход интеграции;
- › отсутствие мониторинга задержки;
- › отсутствие механизма повторной синхронизации.
Именно поэтому интеграцию нельзя оценивать только вопросом:
Наличие API говорит лишь о наличии технического интерфейса.
Оно ничего не говорит о том, насколько корректно две системы смогут поддерживать согласованное состояние данных.
Как проектировать синхронизацию до начала разработки
Хороший проект интеграции начинается с описания данных и сценариев, а не с выбора конкретного инструмента.
Полезно последовательно определить:
Не «вся клиентская информация», а конкретные сущности и поля.
Какая система является источником истины.
Создание, изменение, удаление.
Секунды, минуты, часы.
Синхронный запрос или асинхронное событие.
Повторные попытки, очередь сообщений, очередь ошибочных сообщений (DLQ), ручная обработка.
Идемпотентная обработка, дедупликация и защита от повторного выполнения операций.
Версии, последовательные номера или другие механизмы.
Мониторинг, сверка, reconciliation.
Повторная загрузка данных, повторное воспроизведение событий или полная сверка с источником истины — в зависимости от архитектуры.
После этого уже имеет смысл выбирать конкретные технологии.
Главное — не стремиться к одинаковым данным каждую миллисекунду
Иногда компании пытаются построить архитектуру, в которой каждая система должна мгновенно знать обо всех изменениях.
Технически это возможно для определённых сценариев.
Но зачастую это создаёт лишнюю сложность.
Если аналитической системе достаточно обновления раз в несколько минут, нет необходимости превращать её в участника синхронной транзакции.
Если мобильному приложению достаточно данных с задержкой в 10 секунд, нет смысла блокировать основной бизнес-процесс из-за недоступности этого приложения.
Хорошая архитектура определяет требуемый уровень согласованности для каждого конкретного процесса.
Синхронизация данных — это управление согласованностью
В итоге задача сводится не к тому, чтобы заставить несколько систем показывать одинаковые значения.
Нужно обеспечить предсказуемое поведение при изменениях, задержках и сбоях.
Для этого необходимо понимать:
- › где находится источник истины;
- › какие системы являются потребителями;
- › насколько свежими должны быть данные;
- › какие изменения являются событиями;
- › как они доставляются;
- › что происходит при повторной доставке;
- › как контролируется порядок;
- › как разрешаются конфликты;
- › как обнаруживаются расхождения;
- › как система восстанавливается после сбоя.
Только после этого имеет смысл выбирать API, очереди, брокеры сообщений, интеграционные платформы и другие технические инструменты.
Потому что синхронизация — это не просто задача «передать данные из точки A в точку B».
Это задача построения правил, по которым несколько независимых информационных систем совместно работают с одной предметной областью и при этом сохраняют предсказуемое состояние.
И чем больше систем участвуют в процессе, тем важнее становятся эти правила.
В хорошо спроектированной архитектуре задержка между системами не является неожиданной проблемой. Она заранее определена, измеряется и соответствует требованиям бизнеса.
А если данные всё-таки разошлись, система должна не просто обнаружить проблему, а понимать, какое состояние является правильным и как к нему вернуться.
Почему данные в разных системах расходятся
Почему в системе появляются дубликаты и несовпадения
1С, CRM и сайт: как системы обмениваются данными
Все инженерные материалы и экспертные статьи
Полный алфавитный справочник ИТ-терминов