Почему интеграции между системами ломаются

 

 

 

 

ВВЕДЕНИЕ // INTRO_BLOCK

На схеме интеграция двух систем выглядит просто: одна передаёт данные, другая их получает. На практике между отправкой и обработкой данных возникает несколько возможных точек отказа.

Сайт может отправить заказ в CRM, CRM — передать его дальше в 1С или ERP, а оттуда должен вернуться новый статус. Пока систем две, а данных немного, проблемы часто остаются незаметными. Но стоит добавить склад, маркетплейс, несколько каналов продаж или ещё одну базу — и отдельные сбои начинают превращаться в постоянную проблему.

Сбой интеграции не обязательно связан с API.

API может работать корректно, запросы могут доходить до сервера, а данные всё равно будут теряться, дублироваться или попадать не туда. Иногда проблема возникает из-за разных форматов данных, иногда — из-за логики самого процесса, а иногда система просто не умеет нормально обрабатывать ситуацию, когда соседний сервис временно недоступен.

Надёжная интеграция требует определить, какие данные передаются между системами, в какой момент выполняется обмен и как обрабатываются ошибки. Важно также предусмотреть повторные попытки, защиту от дубликатов и контроль результата обработки.

 

[ DIAGRAM // ENTERPRISE_INTEGRATION_TOPOLOGY_v1.0 ]
SITE
│
▼
INTEGRATION
LAYER
[ DIAGRAM // ENTERPRISE_INTEGRATION_TOPOLOGY_v1.1 ]
SITE
 
INTEGRATION
LAYER
 
 
 
 
CRM
1C
WMS
 
 
 
 
[ DATA FLOW SUCCESSFUL ]
[ ERROR ] TRACE_FAIL
→
[ RETRY ] AUTO_QUEUE
→
[ LOG ] WRITE_DB
→
[ ALERT ] TELEGRAM

 

РАЗБОР // ТОЧКИ_ОТКАЗА

Где начинаются проблемы

На простом сценарии всё выглядит безобидно: клиент оформил заказ на сайте, заказ попал в CRM, затем передался в учётную систему. Каждая система могла успешно выполнить свою операцию, но это ещё не гарантирует, что данные корректно прошли всю цепочку обмена.

Например, сайт может передать сумму заказа в рублях, а принимающая система ожидать сумму в копейках. Или одна система передаёт цену с НДС, а другая интерпретирует её как цену без НДС. В обоих случаях запрос может завершиться успешно, хотя итоговые данные окажутся некорректными.

В результате системы могут продолжать работать без явных ошибок, хотя значения и состояния одних и тех же объектов в них уже различаются.

Поэтому интеграцию нужно проверять на уровне всей цепочки: успешная отправка запроса ещё не означает, что данные приняты, корректно обработаны и сохранены в конечной системе.

[ SCHEMA // INTEGRATION_LANDSCAPE_v1 ]
САЙТ → API → ИНТЕГРАЦИОННЫЙ СЛОЙ → CRM → ERP → 1С / WMS
[ !! ] ФОРМАТ ДАННЫХ
[ !! ] ИДЕНТИФИКАТОРЫ
[ !! ] СТАТУСЫ
[ !! ] ОШИБКИ
[ OK ] ПОВТОРНАЯ ОТПРАВКА
ЛОГИКА // API_LIMITATIONS

API не решает всю задачу

API — это способ, которым одна система обращается к другой. Оно определяет, как отправить запрос, какие данные передать и какой ответ получить.

Но API не отвечает за то, правильно ли компания построила сам обмен данными.

Можно иметь хорошо документированный API, стабильное соединение и корректные запросы — и всё равно получить ненадёжную интеграцию. Если системы по-разному понимают статусы заказа, используют разные идентификаторы или не умеют восстанавливаться после ошибки, проблема появится уже на уровне логики.

При проектировании интеграции необходимо определить не только формат запросов и ответов, но и правила обработки данных: значение полей, допустимые переходы статусов, ответственность за изменение записей и поведение при ошибках.

 

СЕМАНТИКА // DATA_MISMATCH

Данные не всегда означают одно и то же

Одна из самых частых проблем в интеграциях возникает не при передаче данных, а при попытке понять, что именно эти данные означают.

Допустим, сайт передаёт в CRM статус заказа paid. Для сайта это может означать, что клиент успешно оплатил заказ. Для ERP аналогичный статус может означать уже подтверждённую оплату, по которой можно запускать отгрузку. А складская система вообще может использовать отдельный статус, который появляется только после проверки платежа.

Технически данные передались правильно. Ошибки API нет. Но системы получили разное представление об одном и том же событии.

Такая же ситуация возникает с товарами, клиентами и документами. В одной системе товар определяется по артикулу, в другой — по внутреннему идентификатору. Где-то цена хранится с НДС, где-то без него. Одна система передаёт дату и время, другая ожидает только дату. Эти различия необходимо явно учитывать при преобразовании данных: иначе принимающая система может неверно интерпретировать значение или отклонить запись.

Поэтому перед интеграцией важно определить не только какие поля передавать, но и что каждое поле означает, в каком формате оно хранится и какая система является источником достоверных данных.

[ LOG // COLLISION_DETECTION ]
CRM_DATA:
ID: 18452
Название: ООО «Ромашка»
Телефон: +7 900 000-00-00
ERP_REPLICATION_ERROR:
ID: 73491
Название: Ромашка ООО
Телефон: +7 900 000-00-00

Если интеграция сопоставляет клиентов только по внутренним идентификаторам исходной системы, она может не распознать существующую запись в принимающей системе и создать дубликат. Для надёжного сопоставления необходимо хранить связь между идентификаторами систем и определить правила обработки случаев, когда однозначно установить соответствие не удаётся.

Единичный дубликат может остаться незамеченным, но при массовом обмене такие записи искажают клиентскую базу, остатки, документы и отчётность.

И здесь появляется ещё один важный вопрос: что должна сделать система, если одна и та же информация приходит повторно?

Для решения этой проблемы нужны правила сопоставления записей и обработки повторных сообщений, а не только корректно работающий API.

 

ТРАССИРОВКА // IDEMPOTENCY

Повторный запрос — не всегда ошибка

Повторная передача данных сама по себе не означает, что интеграция сломалась.

Например, сайт отправил заказ в CRM, но не получил ответ от сервера. Через несколько секунд он отправляет тот же запрос ещё раз. Для сайта это нормальная попытка убедиться, что операция выполнена. Для CRM это уже два одинаковых запроса.

Если интеграция не умеет распознавать такие ситуации, один заказ может превратиться в два.

Поэтому при проектировании обмена важно заранее определить, можно ли безопасно повторить операцию и как система поймёт, что такой запрос уже был обработан.

Обычно для этого используют уникальные идентификаторы операций и правила повторной обработки. Например, заказ может иметь один внешний идентификатор, который сохраняется во всех системах:

[ PIPELINE // SINGLE_SOURCE_OF_TRUTH ]
САЙТ
[ ID ] ORDER-10452
↓ transmission
CRM
[ ID ] ORDER-10452
↓ replication
ERP
[ ID ] ORDER-10452

Если тот же заказ поступит повторно, принимающая система сможет найти ранее созданную запись по внешнему идентификатору и не создавать дубликат. Для этого идентификатор должен быть уникальным в пределах соответствующего типа операций, а проверка существования записи и её создание должны быть защищены от параллельного выполнения.

Это особенно важно для платежей, заказов, отгрузок и других операций, где повторное выполнение может привести к реальным последствиям.

Отдельная задача — обнаружение расхождений между системами после того, как обмен формально завершился успешно. Например, сообщение могло быть обработано, но принимающая система сохранила данные с ошибкой преобразования или последующее изменение не попало в интеграционный поток. Для критичных данных полезно предусмотреть периодическую сверку: сравнивать количество объектов, ключевые поля, статусы и контрольные суммы там, где это применимо. Обнаруженное расхождение должно создавать диагностируемую задачу на исправление, а не приводить к безусловной перезаписи данных одной системы данными другой.

 

ОТКАЗОУСТОЙЧИВОСТЬ // FAULT_TOLERANCE

А если система вообще не ответила?

Вот здесь начинается другая распространённая проблема.

Интеграция отправляет данные в ERP, но ERP временно недоступна. Запрос не выполнен. Что делать дальше?

Можно сообщить об ошибке и оставить операцию на ручную обработку. Но если запрос уже был отправлен, а ответ не получен, результат может оставаться неизвестным. Поэтому надёжнее сохранять состояние операции, выяснять результат предыдущей попытки и повторять отправку только с учётом защиты от дубликатов.

Последний вариант требует отдельной логики: система должна фиксировать состояние операции, различать временные и постоянные ошибки и определять, когда допустима повторная попытка. Если соединение оборвалось после отправки запроса, результат может оставаться неизвестным: принимающая система могла выполнить операцию, но ответ не дошёл. В такой ситуации перед повтором необходимо проверить результат предыдущей попытки или использовать механизм идемпотентности.

Чем больше систем участвует в обмене, тем важнее изолировать временные сбои. Если передача в одну систему блокирует остальные операции, её недоступность может остановить весь бизнес-процесс.

 

АРХИТЕКТУРА // QUEUE_LOGIC

Ошибка не должна останавливать весь процесс

Представим, что сайт работает нормально, CRM доступна, а ERP неожиданно перестала отвечать. В этот момент заказ уже существует, клиент его оформил, но передать информацию дальше не получилось.

Плохой сценарий — просто показать ошибку и забыть о заказе.

Сотрудник может даже не узнать о проблеме, а спустя несколько часов обнаружить, что в ERP нет части заказов. Затем начинается ручная проверка: что было отправлено, что дошло, что нужно провести повторно и какие записи уже существуют.

Надёжная интеграция должна вести себя иначе.

Необработанную операцию можно сохранить в очереди и повторить автоматически после восстановления системы. Для временных ошибок используют ограниченное число повторных попыток с увеличивающимися интервалами между ними. Постоянные ошибки, например некорректные данные или нарушение бизнес-правил, не следует бесконечно повторять: их нужно направлять на разбор.

После исчерпания допустимого числа попыток сообщение следует переместить в отдельную очередь ошибочных сообщений. Для диагностики нужно сохранять причину сбоя, историю попыток и исходные данные. После устранения причины сообщение можно повторно обработать, предварительно проверив, не была ли операция уже выполнена.

[ FLOWCHART // RETRY_QUEUE_LOGIC ]
НОВЫЙ ЗАКАЗ
↓
ПОПЫТКА ПЕРЕДАЧИ
↓
ERP ДОСТУПНА? ── ДА ──→ ЗАКАЗ ПЕРЕДАН
│
НЕТ
↓
СОХРАНИТЬ ОПЕРАЦИЮ [В ОЧЕРЕДЬ]
↓
ПОВТОРЯТЬ ЦИКЛИЧЕСКИ ПОЗЖЕ
↓
├── УСПЕХ ──→ ЗАФИКСИРОВАТЬ УСПЕШНУЮ ОБРАБОТКУ
└── КРИТ_ОШИБКА ──→ УВЕДОМИТЬ ИНЖЕНЕРА

Очередь позволяет сохранить операцию до восстановления сервиса, но для надёжной обработки нужны подтверждение результата, контроль повторных попыток и мониторинг ошибок. Если сообщение не удаётся обработать автоматически, система должна сохранить его для диагностики и уведомить ответственного сотрудника.

Но здесь есть важный момент: повторить запрос безопасно можно далеко не всегда. Если система не умеет отличать новую операцию от уже выполненной, автоматический повтор может создать дубликат заказа, платежа или документа.

Поэтому обработка ошибок и защита от повторных операций должны проектироваться вместе, а не добавляться в интеграцию уже после первых сбоев.

 

БИЗНЕС-ЛОГИКА // STATUS_DRIFT

Статусы тоже могут рассинхронизироваться

Даже если данные передаются без ошибок и дубликатов не возникает, системы всё равно могут начать показывать разное состояние одного и того же заказа.

Например, клиент оплатил заказ на сайте. Сайт изменил статус на Оплачен и отправил событие в CRM. CRM обновила карточку клиента, но ERP в этот момент была недоступна.

В результате некоторое время в трёх системах могут отображаться разные статусы одного заказа:

[ TRACE // STATE_DESYNC_ALERT ]
САЙТ:
[ STATUS ] Оплачен
CRM:
[ STATUS ] Оплачен
ERP:
[ STATUS ] Ожидает оплаты

Временное расхождение статусов допустимо, если архитектура предусматривает задержку синхронизации и последующее согласование данных. Проблема возникает, когда не определено, какая система отвечает за изменение статуса и как обрабатывать конфликтующие или устаревшие события.

Особенно сложно это становится, когда статус может изменяться из нескольких мест. Например, заказ создаётся на сайте, менеджер меняет его в CRM, а отгрузка переводит его в новый статус уже в WMS.

В такой архитектуре недостаточно просто передавать поле status. Нужно заранее определить правила:

  • Какая система отвечает за изменение каждого состояния заказа;
  • Какие переходы между состояниями допустимы;
  • Какие события должны передаваться другим системам;
  • Как обрабатываются устаревшие события и повторная доставка;
  • Что происходит, если две системы одновременно пытаются изменить состояние;
  • Как восстанавливается согласованность после временного сбоя интеграции.

Без этих правил интеграция постепенно превращается в набор исключений, которые приходится исправлять вручную.

Поэтому синхронизация статусов требует не только передачи значений, но и согласованных правил перехода между состояниями, обработки устаревших событий и разрешения конфликтов.

А когда количество систем растёт, становится важным уже не только то, что передаётся, но и как построена сама архитектура обмена.

 

АРХИТЕКТУРА // INTEGRATION_TOPOLOGY

Когда систем становится больше

Когда взаимодействуют две системы, количество связей обычно проще контролировать. Однако даже одна интеграция может быть сложной, если включает несколько бизнес-сценариев, двустороннее обновление данных, повторные операции и строгие требования к согласованности.

Например:

САЙТ → CRM

Затем появляется 1С:

САЙТ → CRM → 1С

Потом подключается склад:

             ┌──→ CRM
САЙТ ────────┼──→ 1С
             └──→ WMS

А после этого добавляются маркетплейсы, телефония, сервис рассылок, аналитика и другие системы.

По мере роста числа интеграций увеличивается количество зависимостей между системами. Поэтому изменение формата данных или бизнес-правил в одной системе может потребовать доработок в нескольких других.

Например, если поменять структуру заказа на сайте, может потребоваться изменить обмен с CRM, 1С и складом. Если каждая система связана с каждой напрямую, одно изменение постепенно превращается в цепочку доработок.

При развитии инфраструктуры нужно определить, какие преобразования и правила обмена относятся к интеграционному слою, а какие должны оставаться ответственностью бизнес-систем.

Иногда прямой обмен вполне оправдан:

САЙТ ─────→ CRM

Но для более сложной системы может понадобиться отдельный слой:

[ DEPLOYMENT // CENTRAL_BUS_MODEL ]САЙТИНТЕГРАЦИОННЫЙ СЛОЙ1СCRMWMS

Такой слой может отвечать за преобразование данных, маршрутизацию сообщений, повторные попытки, техническое логирование и контроль выполнения интеграционных операций. При этом бизнес-правила и ответственность за данные должны оставаться явно определёнными: интеграционный слой не должен произвольно решать, какой статус заказа или какое значение считать правильным.

Отдельный интеграционный слой нужен не каждому проекту. Для двух систем с простым обменом прямое подключение может оказаться проще и дешевле. При росте числа систем общий слой преобразования и маршрутизации сообщений помогает сократить дублирование интеграционной логики и упростить контроль ошибок. Его внедрение оправдано, если эти преимущества превышают затраты на разработку и сопровождение дополнительного компонента.

 

ТЕХОБСЛУЖИВАНИЕ // TELEMETRY_METRICS

Мониторинг нужен не меньше, чем сама интеграция

Даже хорошо спроектированный обмен может однажды перестать работать. Сервер может стать недоступен, внешний сервис изменить формат ответа, закончиться место в очереди или истечь ключ доступа.

Проблема в том, что пользователь далеко не всегда увидит такую ошибку.

Сайт продолжит открываться. CRM продолжит работать. Сотрудники будут создавать заказы. Но данные между системами перестанут передаваться.

[ TELEMETRY // ACTIVE_HEALTH_CHECK ]
● ВРЕМЯ ЗАПРОСА
● ОТВЕТ СИСТЕМЫ
● СТАТУС ОПЕРАЦИИ
● КОЛИЧЕСТВО ПОВТОРОВ
● ВРЕМЯ ОБРАБОТКИ
● ТЕКСТ ОШИБКИ

Эти показатели позволяют определить, на каком этапе возник сбой, сколько операций он затронул и продолжают ли накапливаться необработанные сообщения.

Хороший мониторинг может обнаружить проблему до того, как её заметит сотрудник. Например, если при обычной нагрузке за пять минут в CRM передаются десятки заказов, а затем поток внезапно прекращается, это повод проверить интеграцию.

При этом отсутствие новых заказов само по себе не доказывает сбой: в отдельные периоды спрос может быть низким. Поэтому полезно отслеживать не только количество переданных объектов, но и возраст необработанных сообщений, время последней успешной синхронизации, долю ошибок и задержку доставки.

Логи помогают разобраться в том, что уже произошло.

Мониторинг помогает вовремя заметить, что что-то происходит сейчас.

А уведомления связывают это с реальной работой команды: если проблема требует вмешательства человека, ответственный должен узнать об этом, а не обнаружить её случайно через несколько часов.

 

РЕФАКТОРИНГ // VERSION_CONTROL

Что происходит, когда интеграция меняется

Интеграция редко остаётся неизменной на протяжении всего срока работы системы.

Сайт обновляется. В CRM появляются новые поля. В 1С меняется структура справочника. Компания подключает ещё один склад или добавляет новый канал продаж.

Изменение может выглядеть небольшим, например добавление одного поля. Но если это поле участвует в расчётах или используется несколькими системами, потребуется проверить совместимость форматов, правила обработки и существующие сценарии обмена.

[ SCHEMAS // REVISION_PAYLOAD_DIFF ]
# Прежняя структура:
  product_id
  quantity
  price
# Новая структура (v1.1.0):
  product_id
  quantity
  price
+ discount

Если принимающая система не поддерживает новый формат данных или изменение затрагивает существующие правила расчёта итоговой суммы, обмен может начать работать некорректно. Само добавление необязательного поля не обязательно нарушает совместимость: это зависит от того, как принимающая система обрабатывает неизвестные поля и какие требования предъявляет к структуре сообщения.

При изменении формата обмена нужно проверять обратную совместимость. Если новая версия несовместима со старой, следует согласовать переход между системами или временно поддерживать обе версии.

Здесь помогают версионирование API, документация, тестовая среда и контроль изменений. Перед публикацией обновления можно проверить, как новая версия обрабатывает реальные сценарии обмена, а после запуска — убедиться, что существующие процессы продолжают работать.

Особенно важно это для интеграций, которые связывают системы разных поставщиков. Компания может полностью контролировать свой сайт и собственную базу данных, но не контролировать изменения внешнего API.

При проектировании интеграции стоит определить правила изменения схемы данных, версионирования интерфейсов и перехода на новые форматы. Это позволяет обновлять системы без неожиданного нарушения существующего обмена.

 

  • 01Какая система является источником данных;
  • 02Какие данные и в каком формате передаются;
  • 03Как системы идентифицируют одни и те же объекты;
  • 04Что происходит при ошибке или недоступности сервиса;
  • 05Можно ли безопасно повторить операцию;
  • 06Как обрабатываются дубликаты;
  • 07Кто отвечает за изменение статусов;
  • 08Как команда узнает о сбое;
  • 09Что произойдёт после изменения одной из систем.

Если эти правила определены до запуска интеграции, команде проще оценивать последствия изменений, диагностировать сбои и восстанавливать обмен без ручного исправления каждой затронутой записи.

 

РЕЗЮМЕ // CONCLUSION_SUMMARY

Вместо вывода

Работающий API не гарантирует, что интеграция будет корректно передавать, обрабатывать и синхронизировать данные.

При проектировании интеграции необходимо определить форматы данных, правила обработки статусов, защиту от дубликатов, порядок повторных попыток и контроль изменений интерфейсов. При этом сама архитектура должна соответствовать масштабу задачи: небольшой связке систем не обязательно нужен сложный интеграционный слой, а крупная корпоративная инфраструктура редко остаётся управляемой, если все системы связаны между собой напрямую.

Поэтому при проектировании интеграции полезно начинать не с вопроса «какой API использовать?», а с более простого:

«Что должно произойти с данными от момента их появления до конечного результата — и что произойдёт, если на любом этапе что-то пойдёт не так?»

После этого можно выбирать API, вебхуки, очереди сообщений и интеграционный слой с учётом требований к задержке, надёжности и сложности сопровождения.

 

НАВИГАЦИЯ // SUGGESTED_READING
 
[ Модуль // ИНТЕГРАЦИИ ]

API, Webhook или очередь сообщений?

 
[ Модуль // ИНТЕГРАЦИИ ]

Когда API есть, а интеграция всё равно не работает

 
[ Модуль // ИНТЕГРАЦИИ ]

Как синхронизировать данные между системами

 
[ EXPERTISE JOURNAL ]

Все инженерные материалы и экспертные статьи

 
[ CORE GLOSSARY ]

Полный алфавитный справочник ИТ-терминов

AI Ассистент
×
ИИ может ошибаться