Как синхронизировать данные между системами

 

 

 

 

 

ИНТЕГРАЦИЯ // DATA_INTEGRATION_SYNC

Иллюзия синхронности: как данные живут в распределённой системе

В корпоративной информационной системе редко бывает так, что все данные находятся в одном месте.

CRM хранит клиентов и историю взаимодействия с ними. ERP отвечает за заказы, финансовый и управленческий учёт. MES работает с производственными операциями. WMS — со складскими остатками и движением товаров. Отдельные сервисы могут отвечать за документы, мобильные приложения, аналитику или взаимодействие с внешними системами. Каждая система решает свою задачу и поэтому хранит собственное представление данных.

изменение в ERP → фиксация статуса → задержка сети → [!] ожидание шины → обновление в CRM → актуальное состояние данных

Проблема возникает в тот момент, когда один объект используется сразу в нескольких системах.

// ИСТОЧНИК ИЗМЕНЕНИЯ //

Например, в ERP изменился статус заказа:

«Подтверждён».
// ОЖИДАНИЕ ОБНОВЛЕНИЯ //

CRM об этом пока не знает. Через несколько минут менеджер открывает CRM и видит старый статус:

«Новый».
// АНАЛИЗ КОНФЛИКТА СОСТОЯНИЙ //

Какая система права?

На самом деле обе системы могут быть технически исправны. Просто между ними существует задержка синхронизации.

ERPЗадержка синхронизацииCRM

Именно поэтому интеграция данных — это не только вопрос передачи информации из одной системы в другую. Необходимо определить:

  • › какая система является источником истины;
  • › когда данные считаются изменёнными;
  • › как изменение доставляется;
  • › допустима ли задержка;
  • › что делать при ошибке;
  • › что произойдёт при повторной доставке;
  • › как обнаружить пропущенное изменение;
  • › как разрешать конфликтующие изменения.

И чем больше систем участвуют в процессе, тем важнее эти правила.

 

ОПРЕДЕЛЕНИЕ // DATA_SYNC_METRICS

Сначала нужно определить, что именно означает «синхронизация»

Слово «синхронизация» часто используется слишком широко.

Иногда под ним понимают:
«Передать данные из системы A в систему B».
// Но это только один из вариантов.

Настоящая задача может выглядеть иначе:

// СЦЕНАРИЙ 01 // ERP → CRM //

«Когда в ERP изменяется заказ, CRM должна узнать об этом не позднее чем через 30 секунд».

// СЦЕНАРИЙ 02 // APP → WMS //

«Остаток товара в мобильном приложении не должен отличаться от WMS более чем на пять минут».

// СЦЕНАРИЙ 03 // ВЕРСИОНИРОВАНИЕ //

«Если документ изменился, все зависимые системы должны получить новую версию».

API / Очередь /Брокер сообщенийСначала определитьДопустимаязадержкаБИЗНЕС-МЕТРИКА

У каждой задачи свои требования.

Поэтому до выбора API, очереди или брокера сообщений сначала нужно определить:

насколько актуальными должны быть данные и какую задержку бизнес действительно считает допустимой.

 

ТОПОЛОГИЯ // SYSTEM_OF_RECORD

У данных должен быть источник истины

Представим, что информация о клиенте присутствует в трёх системах:

КлиентCRMERPАналитика

Возникает простой вопрос: где находится правильное значение?

  • › Если менеджер изменил телефон клиента в CRM, должна ли ERP тоже менять его?
  • › А если пользователь изменил телефон непосредственно в ERP?
  • › А если два изменения произошли почти одновременно?
// КОНФЛИКТ ЖИЗНЕННОГО ЦИКЛА СУЩНОСТИ //

Без заранее определённого владельца данных системы начинают конкурировать между собой.

Поэтому для ключевых сущностей обычно определяют System of Record — систему-источник, которая является авторитетной для конкретного типа данных.

Например:

Клиенты
→ CRM
Заказы
→ ERP
Производство
→ MES
Остатки
→ WMS
Финансы
→ ERP

Это не означает, что остальные системы не могут хранить копии. Они могут.

Но копия не должна неожиданно превращаться во второй источник истины.

 

ТРАНЗАКЦИИ // TRANSACTION_LIMITATIONS

Почему нельзя просто обновлять все системы одновременно

На первый взгляд кажется логичным сделать так:

ИзменениеCRMERPWMSАналитика

Пользователь изменил данные — сразу обновили всё.

Проблема начинается, когда одна из систем недоступна. Например:

ERPCRMOKWMSOKAnalyticsERROR
// ПРОБЛЕМА РАСПРЕДЕЛЁННОЙ ТРАНЗАКЦИИ //

Что теперь считать успешной операцией?

Изменение в ERP уже произошло. CRM и WMS обновились. Аналитика — нет.

Нужно ли откатывать всё назад? Можно ли откатить изменение?

А если ошибка возникла после обновления ещё пяти систем?

С ростом числа зависимых систем попытка сделать все изменения одной синхронной транзакцией становится всё сложнее.

Именно здесь появляется различие между синхронным и асинхронным обменом.

 

ИНТЕГРАЦИЯ // SYNCHRONOUS_INTEGRATION

Синхронный обмен: ответ нужен сразу

При синхронной интеграции одна система обращается к другой и ждёт ответа.

Система AзапросСистема BответСистема A

Например:

ERP запрашивает у WMS актуальный остаток.

WMS отвечает:

148 единиц.

Только после получения ответа ERP продолжает операцию.

Такой подход хорошо подходит, когда результат действительно нужен здесь и сейчас.

Например:

  • › проверить наличие товара;
  • › получить актуальный статус;
  • › проверить права;
  • › запросить стоимость;
  • › подтвердить операцию;
  • › получить данные для продолжения бизнес-процесса.

Но у синхронной модели есть цена.

Если система B недоступна, система A может тоже оказаться заблокированной.

 

ИНТЕГРАЦИЯ // ASYNCHRONOUS_INTEGRATION

Асинхронный обмен: результат придёт позже

При асинхронном взаимодействии система отправляет сообщение и не обязана ждать немедленного ответа.

Система AОчередьСистема BСистема CСистема D

Например, ERP сообщает:

Заказ №4821 подтверждён.

Это событие помещается в очередь.

CRM, аналитическая система и другие потребители получают его самостоятельно.

Если CRM временно недоступна, сообщение может оставаться в очереди до момента, когда CRM снова сможет его обработать.

Это одно из главных преимуществ асинхронной архитектуры:

временная недоступность одной системы не обязательно останавливает источник изменения.

 

СОГЛАСОВАННОСТЬ // EVENTUAL_CONSISTENCY

Но асинхронность означает eventual consistency

Если системы обмениваются данными асинхронно, они не обязаны быть одинаковыми в каждый момент времени.

Например:

ERP → статус: CONFIRMEDCRM → статус: NEWАналитика → статус: NEWЧерез несколько секунд:ERP → CONFIRMEDCRM → CONFIRMEDАналитика → CONFIRMED

Между этими состояниями система находится в состоянии eventual consistency — согласованности, достигаемой со временем.

Это не ошибка.

Это сознательно выбранная архитектурная модель.

Главное — чтобы бизнес понимал допустимую задержку.

 

КРИТИЧНОСТЬ // DATA_FRESHNESS_LIMITS

Не всякие данные можно обновлять с задержкой

Представим склад.

В WMS осталось:
1 единица товара.
Мобильное приложение показывает:
5 единиц.

Если пользователь может оформить заказ на все пять, проблема уже не просто техническая.

Она превращается в бизнес-ошибку.

Поэтому для каждой сущности нужно определить допустимую свежесть данных.

Например:

Производственные показатели
[ Допустимая задержка ]
несколько секунд
Остатки
[ Допустимая задержка ]
секунды / минуты
CRM-аналитика
[ Допустимая задержка ]
минуты
Управленческая отчётность
[ Допустимая задержка ]
часы
Архивные данные
[ Допустимая задержка ]
может быть значительно больше

Допустимая задержка сама по себе не гарантирует корректность бизнес-операции. Если два процесса одновременно работают с последней единицей товара, необходимо отдельно обеспечить атомарное резервирование или проверку доступности на стороне системы, которая управляет остатками.

Главное — не пытаться сделать все данные абсолютно синхронными, если бизнесу это не требуется.

 

АРХИТЕКТУРА // EVENTS_VS_COMMANDS

Событие и команда — не одно и то же

В интеграционной архитектуре полезно различать два понятия.

// КОМАНДА //

Команда означает:

«Сделай что-то».

Например: Создай заказ.

// СОБЫТИЕ //

Событие означает:

«Что-то уже произошло».

Например: Заказ создан.

Это важное различие.

Команда адресована конкретному обработчику.

Событие может быть опубликовано для нескольких потребителей:

OrderCreated ──┐├──► CRM├──► Analytics├──► Notification Service└──► Data Platform

Таким образом, новые потребители можно добавлять без изменения исходного бизнес-процесса.

 

ДОСТАВКА // QUEUE_LIMITATIONS

Очередь решает не все проблемы

Очередь часто воспринимают как универсальное лекарство:

«Если системы плохо синхронизируются — поставим брокер сообщений».

Но очередь не отвечает на вопросы:

  • › что является источником истины;
  • › как разрешать конфликты;
  • › какая версия данных актуальна;
  • › можно ли обработать сообщение повторно;
  • › что делать с устаревшим событием;
  • › как восстановить пропущенные сообщения.

Очередь или брокер сообщений обеспечивает определённые гарантии передачи сообщений, но не заменяет правила владения данными, разрешения конфликтов и восстановления согласованного состояния.

 

ИНТЕГРАЦИЯ // DUPLICATE_DELIVERY

Самая неприятная ситуация — повторная доставка

Представим:

ERPОчередьCRM

CRM получила сообщение:

Заказ №4821 → CONFIRMED.

Она обновила запись.

Но подтверждение обработки не дошло до очереди: например, соединение оборвалось после обновления записи в CRM.

Очередь считает, что сообщение не было обработано, и отправляет его ещё раз.

CRM получает:

Заказ №4821 → CONFIRMED.

снова.

Это называется повторной доставкой.

В распределённых системах она является нормальной ситуацией.

Поэтому обработчики сообщений должны быть готовы к тому, что одно и то же событие может прийти несколько раз.

 

ПРОЕКТИРОВАНИЕ // IDEMPOTENCY_PATTERNS

Идемпотентность — одно из ключевых свойств интеграции

Если операция идемпотентна, её повторное выполнение не приводит к нежелательному дополнительному эффекту.

// ИДЕМПОТЕНТНЫЙ ЗАПРОС //

Например:

SetStatus(order=4821, status=CONFIRMED)

можно выполнить несколько раз. Результат останется: CONFIRMED.

// КРИТИЧЕСКИЙ ДУБЛЬ //

А вот операция:

AddPayment(1000)

при повторной доставке может списать деньги дважды.

Поэтому для критичных операций необходимо продумывать защиту от повторного выполнения. Например, использовать:

  • › уникальный идентификатор операции;
  • › идентификатор события;
  • › таблицу обработанных сообщений;
  • › уникальный ключ;
  • › контроль версии;
  • › механизм дедупликации.

 

ГАРАНТИИ // DELIVERY_GUARANTEES

«Доставить хотя бы один раз» и «доставить ровно один раз»

В распределённых системах часто говорят о гарантиях доставки.

// AT-LEAST-ONCE //

сообщение будет доставлено как минимум один раз.

  • Плюс: сообщение не должно потеряться незаметно.
  • Минус: оно может прийти повторно.

Поэтому обработчик должен быть идемпотентным.

// AT-MOST-ONCE //

сообщение обрабатывается максимум один раз.

  • Здесь риск обратный: сообщение может быть потеряно.
// EXACTLY-ONCE //

Гарантия выглядит привлекательнее: каждое сообщение обработано ровно один раз.

Но в распределённой системе это гораздо сложнее обеспечить на уровне всей бизнес-операции.

надёжная доставка+идемпотентнаяобработка

Поэтому на практике обычно сочетают надёжную доставку сообщений с идемпотентной обработкой.

 

ПОСЛЕДОВАТЕЛЬНОСТЬ // EVENT_ORDERING_RISKS

А что если сообщения пришли не по порядку?

Допустим, произошли два изменения:

// ХРОНОЛОГИЯ ИЗМЕНЕНИЙ //
1. Заказ → CONFIRMED
2. Заказ → SHIPPED
// НАРУШЕНИЕ ПОРЯДКА СОБЫТИЙ //
Но система-получатель получила их наоборот:
SHIPPED
CONFIRMED

И в итоге заказ снова оказался в статусе:

CONFIRMED.

Проблема возникает из-за нарушения порядка обработки событий.

Для некоторых процессов необходимо контролировать последовательность изменений. Если сообщения обрабатываются в порядке поступления без проверки их версий, устаревшее состояние может перезаписать новое. Чтобы этого избежать, используют:

  • › порядковые номера событий;
  • › версии объектов;
  • › временные метки (timestamp);
  • › разбиение потока на разделы (partitioning) с учётом требований к порядку;
  • › ключи упорядочивания;
  • › проверку предыдущего состояния.

 

АКТУАЛЬНОСТЬ // OBJECT_VERSION_CONTROL

Версия объекта иногда важнее времени

Допустим, система получила:

// СООБЩЕНИЕ_01 //
Заказ №4821
version = 17
status = SHIPPED
// СООБЩЕНИЕ_02 //
а затем:
Заказ №4821
version = 16
status = CONFIRMED
// ПРОВЕРКА ВЕРСИИ ОБЪЕКТА //

Если просто смотреть на порядок поступления сообщений, можно записать устаревшее состояние поверх нового.

Если же система сравнивает версии:

16 < 17

она понимает, что второе сообщение уже устарело.

Поэтому версия объекта позволяет проверять актуальность данных и отбрасывать устаревшие изменения. При этом версии должны формироваться в рамках согласованного механизма. Если разные системы независимо присваивают версии одному объекту, простого сравнения чисел может оказаться недостаточно для разрешения конфликта.

 

КОНФЛИКТЫ // CONFLICT_RESOLUTION

Что делать, если две системы изменили одни и те же данные

Представим:

ERPцена = 100CRMцена = 110?

Обе системы изменили один объект.

Какое значение правильное?

Варианты могут быть разными:

  • › ERP всегда главнее;
  • › CRM всегда главнее;
  • › победитель определяется версией;
  • › конфликт отправляется оператору;
  • › изменения объединяются;
  • › одна система вообще не имеет права менять это поле.
// УРОВЕНЬ УПРАВЛЕНИЯ ДАННЫМИ //

Это уже не техническая задача очереди.

Это правило управления данными.

Если правила не определены, система не сможет гарантированно разрешить конфликт самостоятельно.

 

ОПТИМИЗАЦИЯ // PARTIAL_SYNCHRONIZATION

Синхронизировать нужно не обязательно всю сущность

Допустим, в CRM есть клиент:

// ПОЛНАЯ ЗАПИСЬ CRM //
ID
Имя
Телефон
Email
Адрес
Менеджер
Статус
Дата последнего контакта
// ЧАСТЬ ДЛЯ ERP //
ID
Имя
Адрес

Нет необходимости передавать всю запись при каждом изменении.

Можно передавать только необходимые поля либо событие, описывающее изменение. При этом контракт должен определять, означает ли отсутствие поля отсутствие изменения или его удаление.

Но здесь возникает другая сложность:

// ТРЕБОВАНИЯ К КОНТРАКТУ ДАННЫХ //

частичная синхронизация увеличивает требования к контракту данных.

Нужно понимать, какие поля принадлежат какой системе и кто имеет право их менять.

 

ПОДХОДЫ // DATA_SYNC_APPROACHES

Полная синхронизация и обмен изменениями

Есть два распространённых подхода.

// ПЕРЕДАВАТЬ ПОЛНЫЙ ОБЪЕКТ //

Например:

Customer {
  id
  name
  phone
  email
  address
}
  • Преимущество — получатель получает целостное состояние.
  • Недостаток — больше данных и риск перезаписать изменения, которые были сделаны в другой системе.
// ПЕРЕДАВАТЬ ТОЛЬКО ИЗМЕНЕНИЕ //

Например:

CustomerPhoneChanged
customer_id = 4821
new_phone = ...
version = 18
  • Преимущество — меньше данных и более точная модель событий.
  • Недостаток — получателю нужно корректно обрабатывать последовательность изменений.

Выбор зависит от предметной области и архитектуры.

 

АНАЛИТИКА // METRICS_DATA_ACCURACY

Как понять, что данные действительно актуальны

Простой вопрос:

«Когда CRM последний раз получила данные из ERP?»

может оказаться недостаточным.

Лучше хранить технические признаки:

  • › время изменения источника;
  • › время получения;
  • › версию объекта;
  • › идентификатор события;
  • › время обработки;
  • › статус обработки.

Например:

Order ID:       4821
Source version: 37
Changed at:     12:43:15
Received at:    12:43:17
Processed at:   12:43:18

По этим временным меткам можно оценить задержку доставки и обработки, а по версии объекта — проверить, насколько актуальное состояние получено. Для корректных измерений важно учитывать синхронизацию часов между системами.

Получить данныеизмеритьЗадержкасинхронизации

 

МОНИТОРИНГ // LATENCY_MONITORING

Контроль задержки должен быть частью мониторинга

Если обычная задержка между ERP и CRM составляет две секунды, а затем увеличивается до пяти минут, система должна обнаружить это отклонение.

Можно контролировать:

Время изменения источникаВремя полученияВремя обработки

И вычислять:

  • › задержка;
  • › количество сообщений в очереди;
  • › возраст самого старого необработанного события;
  • › количество ошибок;
  • › количество повторных попыток;
  • › количество сообщений в dead-letter queue.

Так появляется возможность контролировать не только доступность интеграции, но и актуальность данных.

 

ОБРАБОТКА_ОШИБОК // ERROR_HANDLING_DLQ

Что делать с ошибочными сообщениями

Представим, CRM не может обработать событие.

Очередь может повторить попытку:

Attempt 1 → ошибка
Attempt 2 → ошибка
Attempt 3 → ошибка

Но бесконечно повторять одно и то же сообщение тоже неправильно.

После определённого количества попыток сообщение можно отправить в отдельную область для разбора:

Dead Letter Queue.

Условная схема:

Очередь ─────┤├──► успешно└──► ошибкаRetryпосле N попытокDLQ

Это позволяет изолировать сообщения, которые не удалось обработать после предусмотренных повторных попыток, и продолжить обработку остальных. При этом необходимо контролировать очередь ошибочных сообщений и предусмотреть их повторную обработку после устранения причины сбоя.

 

ПРОИЗВОДИТЕЛЬНОСТЬ // BACKLOG_LATENCY

Нельзя забывать о «зависших» данных

Иногда проблема не в том, что интеграция полностью сломалась.

Например:

ERPОчередь12 000 сообщенийCRM

CRM продолжает работать, но обрабатывает сообщения медленнее, чем они поступают.

В результате данные постепенно устаревают.

Пользователь видит:

«Почему в CRM всё ещё старый статус?»

При этом API доступен, очередь принимает сообщения, а серверы исправны.

Проблема — накопившаяся очередь необработанных сообщений.

Поэтому для асинхронных интеграций важен не только факт доступности компонентов, но и скорость прохождения данных через весь конвейер.

 

НАДЁЖНОСТЬ // OFFLINE_RECOVERY_FLOW

Что происходит при временной недоступности системы

Допустим, CRM отключилась на 20 минут.

При правильно построенной асинхронной архитектуре:

ERPQueueсобытие 1событие 2событие 3...событие NCRM OFFLINECRM ONLINEОбработка очередиАктуальное состояние

Это значительно лучше, чем потерять все изменения за период недоступности.

Но и здесь есть условие:

сообщения должны действительно сохраняться, а система-получатель должна уметь корректно обработать накопившийся поток.

 

АРХИТЕКТУРА // NO_BROKER_PATTERNS

Иногда очередь вообще не нужна

Не каждую интеграцию необходимо строить на брокере сообщений.

// КУРСЫ ВАЛЮТ // ОДНОКРАТНЫЙ ЗАПРОС //

Если системе нужно получить актуальный курс валют один раз в час, достаточно обычного API-запроса.

// ПРОВЕРКА НАЛИЧИЯ // ИЗБЫТОЧНАЯ АСИНХРОННОСТЬ //

Если необходимо синхронно проверить наличие товара перед оформлением заказа, асинхронная очередь может только усложнить процесс.

// ВЕЕРНАЯ РАССЫЛКА // ЦЕЛЕВОЙ ФАН-АУТ //

Если же нужно распространить одно событие на десятки независимых систем, асинхронная модель может оказаться гораздо удобнее.

Поэтому вопрос должен звучать не:

«Использовать ли нам Kafka / RabbitMQ / другой брокер?»

а:

«Какой характер взаимодействия требуется бизнес-процессу?»

 

АРХИТЕКТУРА // HYBRID_INTEGRATION_FLOW

Синхронный и асинхронный обмен часто используются вместе

В реальных системах редко бывает чистая модель.

Например:

ПользовательERPсинхронноWMSналичиеасинхронноQueueCRMAnalyticsNotifications

ERP может синхронно проверить критически важное условие, а затем асинхронно сообщить другим системам о произошедшем событии.

Такой гибридный подход часто оказывается наиболее практичным.

 

ВЛАДЕНИЕ // DATA_OWNERSHIP_PATTERN

Синхронизация — это ещё и вопрос владения данными

Чем больше систем участвуют в обмене данными, тем важнее заранее определить правила владения информацией. Особенно это актуально, когда синхронизация в реальном времени слишком дорога, но длительные расхождения между системами недопустимы. Нужно заранее определить:

  • › кто создаёт сущность;
  • › кто изменяет её;
  • › кто только читает;
  • › какие поля принадлежат конкретной системе;
  • › кто отвечает за качество данных;
  • › какая версия считается актуальной;
  • › как удаляются записи;
  • › как обрабатываются конфликты.

Например:

КлиентCRMвладеет CRM-атрибутамиERPвладеет финансовымиатрибутами

Такой подход позволяет избежать ситуации, когда несколько систем пытаются одновременно быть главным владельцем одной и той же информации.

 

ЖИЗНЕННЫЙ_ЦИКЛ // DATA_DELETION_PATTERNS

А что делать с удалением?

Удаление часто оказывается сложнее создания и обновления.

Если запись удалена в ERP, что должна сделать CRM?

  • › Физически удалить её?
  • › Пометить как архивную?
  • › Сохранить историю?
// УДАЛЕНИЕ ПРИ НЕДОСТУПНОСТИ ПОЛУЧАТЕЛЯ //

А если CRM была недоступна в момент удаления?

После восстановления она должна узнать, что объект был удалён.

Поэтому интеграционный контракт должен учитывать не только:

Created
Updated

но и:

Deleted

или иной механизм, позволяющий восстановить актуальное состояние.

 

ВЕРИФИКАЦИЯ // RECONCILIATION_PATTERN

Полная синхронизация иногда нужна именно для восстановления

Даже если система работает на событиях, полезно иметь механизм периодической сверки.

СобытияТекущее состояние+Периодическая сверкаОбнаружение расхождений

Почему это важно?

Потому что в реальной инфраструктуре могут возникнуть:

  • › потерянные сообщения;
  • › ошибки обработки;
  • › ручные изменения;
  • › сбои интеграции;
  • › ошибки миграции;
  • › некорректные данные.

Периодическая сверка (reconciliation) позволяет сравнивать данные между системами и обнаруживать расхождения.

 

АУДИТ // RECONCILIATION_AUDIT

Reconciliation: когда две системы нужно сверить

Представим, что ERP считает:

14 821 заказ.
CRM:
14 817 заказов.
Аналитическая система:
14 819.

Это не обязательно означает катастрофу.

Но необходимо понять:

  • › какие записи отсутствуют;
  • › какие данные устарели;
  • › какие операции не были доставлены;
  • › где возникло расхождение.

Для критичных процессов полезно предусмотреть процедуру reconciliation — контролируемую сверку данных между системами.

Это особенно важно там, где абсолютная согласованность в реальном времени слишком дорога, но расхождения недопустимы в долгосрочной перспективе.

 

ТОПОЛОГИЯ // INTEGRATION_LAYER

Интеграционный слой может стать отдельной системой

Когда систем становится много, прямые связи начинают быстро усложняться.

Например:

ERPCRMWMSMESAnalytics

Интеграционный слой помогает централизовать общие механизмы обмена, однако не должен автоматически становиться владельцем бизнес-логики всех подключённых систем.

В определённый момент появляется смысл выделить интеграционный слой:

ERPIntegration LayerCRMWMSMESAnalytics

Он может отвечать за:

  • › маршрутизацию;
  • › преобразование форматов;
  • › авторизацию;
  • › очереди;
  • › повторные попытки;
  • › журналирование;
  • › мониторинг;
  • › преобразование событий.

Но и здесь есть опасность.

// РИСК АРХИТЕКТУРНОЙ ЗАВИСИМОСТИ //

Если интеграционный слой превращается в гигантский монолит со всей бизнес-логикой компании, вместо упрощения архитектуры можно получить новую критическую зависимость.

 

ПРОЕКТИРОВАНИЕ // SYNC_STRATEGY_DECISION

Как выбрать подход к синхронизации

Можно использовать простую логику.

// ЕСЛИ ОТВЕТ НУЖЕН НЕМЕДЛЕННО //

Подходит синхронный API-вызов.

// ЕСЛИ ЗАДЕРЖКА ДОПУСТИМА //

Можно рассмотреть асинхронное событие.

// ЕСЛИ СИСТЕМА МОЖЕТ ВРЕМЕННО БЫТЬ НЕДОСТУПНА //

Очередь помогает пережить такой период.

// ЕСЛИ СООБЩЕНИЯ МОГУТ ПРИХОДИТЬ ПОВТОРНО //

Нужна идемпотентная обработка.

// ЕСЛИ ВАЖЕН ПОРЯДОК ИЗМЕНЕНИЙ //

Нужен контроль последовательности или версий.

// ЕСЛИ ДАННЫЕ МОГУТ ИЗМЕНЯТЬСЯ В НЕСКОЛЬКИХ МЕСТАХ //

Необходимо определить правила владения и разрешения конфликтов.

// ЕСЛИ КРИТИЧНО ОТСУТСТВИЕ РАСХОЖДЕНИЙ //

Нужны механизмы сверки и контроля актуальности.

 

КЕЙС // END_TO_END_CASE

Практический пример: заказ между ERP, WMS и CRM

Представим типичный корпоративный процесс. Клиент оформил заказ.

CRMERP

ERP создаёт заказ и становится источником его финансового и управленческого состояния.

После этого появляется событие:

OrderCreated

Оно отправляется в интеграционный слой.

OrderCreatedQueueWMSCRMAnalytics

WMS создаёт задание на комплектацию.

После комплектации появляется:

OrderPacked

После отгрузки:

OrderShipped

CRM получает эти события и показывает менеджеру актуальный статус.

Аналитическая система использует события для формирования отчётности.

При этом ERP остаётся владельцем бизнес-состояния заказа, а WMS — операционного состояния складского процесса.

Такой подход позволяет каждой системе заниматься своей задачей, не превращая одну систему в универсальный источник всех данных.

 

АНАЛИЗ_РИСКОВ // REAL_WORLD_FAILURES

Что чаще всего ломается в реальных интеграциях

На практике проблемы редко начинаются с самого API.

Гораздо чаще встречаются ситуации:

  • › разные справочники в системах;
  • › разные идентификаторы одной сущности;
  • › отсутствие владельца данных;
  • › несовместимые форматы;
  • › повторная доставка;
  • › потеря порядка событий;
  • › устаревшие сообщения;
  • › отсутствие контроля версий;
  • › неучтённые удаления;
  • › ошибки преобразования;
  • › ручные изменения в обход интеграции;
  • › отсутствие мониторинга задержки;
  • › отсутствие механизма повторной синхронизации.

Именно поэтому интеграцию нельзя оценивать только вопросом:

«Есть ли у системы API?»

Наличие API говорит лишь о наличии технического интерфейса.

Оно ничего не говорит о том, насколько корректно две системы смогут поддерживать согласованное состояние данных.

 

ПРОЕКТИРОВАНИЕ // DESIGN_BEFORE_DEVELOPMENT

Как проектировать синхронизацию до начала разработки

Хороший проект интеграции начинается с описания данных и сценариев, а не с выбора конкретного инструмента.

Полезно последовательно определить:

01 // КАКИЕ ДАННЫЕ ПЕРЕДАЮТСЯ

Не «вся клиентская информация», а конкретные сущности и поля.

02 // КТО ВЛАДЕЕТ КАЖДОЙ СУЩНОСТЬЮ

Какая система является источником истины.

03 // КАКИЕ ОПЕРАЦИИ ПРОИСХОДЯТ

Создание, изменение, удаление.

04 // КАКАЯ ЗАДЕРЖКА ДОПУСТИМА

Секунды, минуты, часы.

05 // КАКОЙ СПОСОБ ОБМЕНА НУЖЕН

Синхронный запрос или асинхронное событие.

06 // ЧТО ПРОИСХОДИТ ПРИ ОШИБКЕ

Повторные попытки, очередь сообщений, очередь ошибочных сообщений (DLQ), ручная обработка.

07 // ЧТО ПРОИСХОДИТ ПРИ ПОВТОРНОЙ ДОСТАВКЕ

Идемпотентная обработка, дедупликация и защита от повторного выполнения операций.

08 // КАК КОНТРОЛИРУЕТСЯ ПОРЯДОК

Версии, последовательные номера или другие механизмы.

09 // КАК ОБНАРУЖИВАЮТСЯ РАСХОЖДЕНИЯ

Мониторинг, сверка, reconciliation.

// 10 // КАК СИСТЕМА ВОССТАНОВЛИВАЕТСЯ //

Повторная загрузка данных, повторное воспроизведение событий или полная сверка с источником истины — в зависимости от архитектуры.

После этого уже имеет смысл выбирать конкретные технологии.

 

БАЛАНС // BALANCE_OF_CONSISTENCY

Главное — не стремиться к одинаковым данным каждую миллисекунду

Иногда компании пытаются построить архитектуру, в которой каждая система должна мгновенно знать обо всех изменениях.

Технически это возможно для определённых сценариев.

Но зачастую это создаёт лишнюю сложность.

// АНАЛИТИЧЕСКИЙ КОНТУР //

Если аналитической системе достаточно обновления раз в несколько минут, нет необходимости превращать её в участника синхронной транзакции.

// МОБИЛЬНОЕ ПРИЛОЖЕНИЕ //

Если мобильному приложению достаточно данных с задержкой в 10 секунд, нет смысла блокировать основной бизнес-процесс из-за недоступности этого приложения.

Хорошая архитектура определяет требуемый уровень согласованности для каждого конкретного процесса.

 

РЕЗЮМЕ // FINAL_INTEGRATION_SUMMARY

Синхронизация данных — это управление согласованностью

В итоге задача сводится не к тому, чтобы заставить несколько систем показывать одинаковые значения.

Нужно обеспечить предсказуемое поведение при изменениях, задержках и сбоях.

Для этого необходимо понимать:

  • › где находится источник истины;
  • › какие системы являются потребителями;
  • › насколько свежими должны быть данные;
  • › какие изменения являются событиями;
  • › как они доставляются;
  • › что происходит при повторной доставке;
  • › как контролируется порядок;
  • › как разрешаются конфликты;
  • › как обнаруживаются расхождения;
  • › как система восстанавливается после сбоя.

Только после этого имеет смысл выбирать API, очереди, брокеры сообщений, интеграционные платформы и другие технические инструменты.

// СУТЬ РАСПРЕДЕЛЕННЫХ ПРАВИЛ //

Потому что синхронизация — это не просто задача «передать данные из точки A в точку B».

Это задача построения правил, по которым несколько независимых информационных систем совместно работают с одной предметной областью и при этом сохраняют предсказуемое состояние.

И чем больше систем участвуют в процессе, тем важнее становятся эти правила.

В хорошо спроектированной архитектуре задержка между системами не является неожиданной проблемой. Она заранее определена, измеряется и соответствует требованиям бизнеса.

А если данные всё-таки разошлись, система должна не просто обнаружить проблему, а понимать, какое состояние является правильным и как к нему вернуться.

 

НАВИГАЦИЯ // SUGGESTED_READING
 
[ Модуль // ДАННЫЕ ]

Почему данные в разных системах расходятся

 
[ Модуль // ДАННЫЕ ]

Почему в системе появляются дубликаты и несовпадения

 
[ Модуль // 1С / CRM ]

1С, CRM и сайт: как системы обмениваются данными

 
[ EXPERTISE JOURNAL ]

Все инженерные материалы и экспертные статьи

 
[ CORE GLOSSARY ]

Полный алфавитный справочник ИТ-терминов

AI Ассистент
×
ИИ может ошибаться