БИТРИКС24: когда стандартных возможностей недостаточно
1. Где заканчивается стандартная конфигурация
Типичная точка отсчёта — не «Битрикс24 не тянет», а конкретная конфигурация данных конкретной компании.
Вводные условия часто выглядят так: CRM работает второй год, изначально моделировалась под продажи, затем к ней подключили отгрузки, закупки, лицензирование, сервисные заявки. Каждый новый участок заводился как смарт-процесс (SPA — Smart Process / смарт-процесс, пользовательская сущность CRM). Через год в портале работают десятки пользовательских сущностей, они связаны друг с другом и с сущностями ядра (сделки, лиды, счета), из них регулярно формируются выборки для отчётов, а часть данных уходит в учётную систему.
Симптомы, которые описывают в этом сюжете:
- растёт время ответа отдельных операций — открытие сделки, выборка по порталу, запуск бизнес-процесса;
- растёт число «зависших» экземпляров бизнес-процессов, которые приходится перезапускать вручную;
- интеграция с 1С или ERP периодически расходится, и разбор расхождения занимает часы;
- новое правило доступа («сотрудник видит заявки своего отдела только после согласования») реализуется двумя-тремя способами одновременно, поведение зависит от того, через какой интерфейс выполнено действие.
Важное разграничение сразу: медленно работает не «платформа», а конкретный путь запроса.
Одна и та же сущность может открываться мгновенно в одной выборке и десятки секунд в другой — разница в объединении таблиц, отсутствии индекса, количестве связанных записей и в том, сколько раз клиент ходит в API. Причина почти никогда не в том, что «используются бизнес-процессы» или «много JOIN», а в том, что конкретный способ реализации не соответствует объёму и структуре данных.
Поэтому главный вопрос статьи — не «нужна ли нам доработка», а что именно перестало соответствовать требованиям: настройка, алгоритм, модель данных или граница системы.
Ниже каждая конструкция разбирается по схеме: механизм → условия возникновения → диагностика → решение и его цена.
SYSTEM ARCHITECTURE / 01
Как расширяется конфигурация CRM
2. Нестандартные сущности и сложная модель данных
2.1 Что решают штатные сущности и смарт-процессы
Стандартные сущности CRM (лид, контакт, компания, сделка, счёт, товар, задача) и бизнес-процессы покрывают основной домен. Смарт-процесс нужен, когда появляется собственная предметная область: заявка на закупку, обращение в сервис, договор, лицензия, ремонт заявки. Преимущество SPA — это одна модель прав, общий механизм бизнес-процессов, единый интерфейс, аналитика портала. Это реальные достоинства, и отказываться от них без измеримой причины — ошибка.
2.2 Четыре уровня модели данных
Стандартные поля ядра
ЧТО ДАЁТ
Совместимость с процессами и встроенными сценариями
ЧЕГО НЕ ДАЁТ
Гибкость под домен
Пользовательские поля
ЧТО ДАЁТ
Быстрое расширение модели данных без разработки
ОГРАНИЧЕНИЯ
Набор типов и возможностей зависит от типа сущности и доступных механизмов связывания; для сложных связей и предметных ограничений может потребоваться дополнительная логика.
Связи между объектами (CRM-связи, поля типа «список», привязки в SPA)
ЧТО ДАЁТ
Целостность в одном контуре
ЧЕГО НЕ ДАЁТ
Стоимость длинных цепочек при выборках
Внешняя модель данных
ЧТО ДАЁТ
Свободная схема, масштабирование хранения, независимые индексы
ОГРАНИЧЕНИЯ
Появляется синхронизация, владение данными, консистентность
Проблема возникает не при переходе на внешнюю модель, а при построении длинных цепочек связей: SPA-A связан с SPA-B, который связан с компанией, компания — со сделкой, сделка — с товарами. Одна выборка «все заявки отдела с суммой по связанным сделкам» превращается в обход дерева связей на стороне приложения с десятками обращений к API.
2.3 Механизм деградации
Основные механизмы, которые стоит проверять в первую очередь:
Разрастание выборки.
Фильтр «связан с компанией, у которой есть сделка в статусе X» не выполняется сервером одним условием — платформа строит выборку через последовательность выборок и связей. Каждый дополнительный уровень добавляет обращения и время сборки результата.
N+1 на клиентской стороне.
Типовой сценарий: получить 500 объектов списком, затем для каждого догрузить связанные данные отдельными вызовами. Это архитектурная ошибка интерфейса или интеграции, а не платформы. Лечится сокращением числа обращений к API: следует выбирать только необходимые поля, использовать фильтрацию и доступные пакетные механизмы REST API. Метод crm.item.list предназначен для получения списка элементов конкретного типа; возможность передать массив идентификаторов в фильтре и поведение запроса необходимо проверять по документации метода и используемой версии API. Пакетный механизм REST API и метод получения списка — разные инструменты.
Отсутствие индексов по полям, по которым фильтруют.
Кастомные поля, созданные в интерфейсе, индексируются не всегда; это зависит от типа поля и способа создания. Проверять нужно на конкретной инсталляции, а не по общему правилу.
Конкурентные изменения.
В коробочной версии при работе ядра с сущностями CRM возникают блокировки на уровне записей/таблиц при пересчёте связанных данных и при изменении нескольких сущностей в одной операции. Это поведение СУБД, а не специфика Битрикс24: подтверждается профилированием на реальной базе.
Сериализация больших объёмов.
Формирование выгрузки, отчёта, экспорта по REST занимает время на стороне PHP и на стороне СУБД. В облачной версии этот код выполняется на платформенной инсталляции — вы не можете его профилировать самостоятельно (см. раздел об ограничениях модели развёртывания).
2.4 Почему JOIN — не приговор
Соединение таблиц — нормальный способ выполнить запрос, а не признак плохой архитектуры. Признак плохой архитектуры — это когда соединение выполняется не СУБД, а приложением: прочитали 2000 строк основной сущности и для каждой отдельно запросили связанные. Симптомы характерны: сетевые вызовы растут линейно с числом объектов, на странице портала видно пачку запросов к API при переключении списка.
Корректный вывод: сначала измерьте, где именно тратится время, и только затем делайте вывод о необходимости внешнего хранилища.
2.5 Метрики, которые показывают узкое место
- Время ответа операции в разрезе пользователей и ролей (медиана и 95-й перцентиль, а не среднее).
- Число HTTP-запросов к API на одну пользовательскую операцию.
- Время выполнения SQL-запросов (в коробочной версии — через средства диагностики СУБД: журнал медленных запросов, EXPLAIN).
- Доля времени в PHP-части (профилирование) против времени в СУБД.
- Потребление CPU и памяти процесса веб-сервера и worker-ов.
- Ожидания блокировок и длительные транзакции в СУБД (коробочная версия).
- Частота ошибок и таймаутов на слое интеграции.
Практически: если время выполнения заметно растёт с увеличением числа обрабатываемых объектов, это может указывать на проблему модели выборки, которую следует проверять и при необходимости решать переработкой запроса. Если время растёт с числом параллельных пользователей, а узкое место — блокировки или CPU — это проблема архитектуры доступа к данным.
2.6 Когда достаточно оптимизации
- Стоит перейти с пообъектной загрузки на пакетные вызовы REST API.
- Стоит перенести вычисления в хранилище: не «выбрать 5000 объектов и посчитать в PHP», а посчитать в базе и вернуть готовый результат.
- Стоит добавить индекс по полю фильтра (коробочная версия).
- Стоит упростить схему: хранить вычисляемое значение, а не пересчитывать его по дереву связей.
- Стоит ограничить область выборки (фильтр по дате, статусу, подразделению) и не отдавать «всё подряд».
2.7 Когда выносить во внешний сервис
Показания: вычисление, которое невозможно выразить в модели CRUD и которое выполняется на каждом открытии страницы; объёмные аналитические сценарии с произвольными разрезами; обработка потока событий, который не должен блокировать интерфейс; необходимость хранить данные с особыми требованиями к срокам хранения, шифрованию и изоляции.
Ключевое правило: внешнее хранилище не должно становиться вторым источником истины.
Как только одни и те же данные живут в Битрикс24 и во внешней базе, вы должны определить и зафиксировать:
Кто владелец данных
Какая система является источником истины для каждого поля
Направление синхронизации
Односторонняя или двусторонняя передача
Семантика обновления
Полная замена, патч, upsert по ключу идемпотентности
Поведение при ошибке
Очередь, повтор, откат, dead-letter
Восстановление
Как восстановить согласованность после сбоя
Аудит
Кто и когда менял значение в каждой системе
Для диагностики расхождений нужна процедура сверки: периодическое сравнение идентификаторов и контрольных сумм/версий между системами с отчётом о расхождениях. Без неё «источник истины» — это декларация.
3. Сложные согласования и бизнес-процессы
3.1 Механизм
Бизнес-процесс Битрикс24 — это исполняемый сценарий: состояния, переходы, действия, условия, задачи, документооборот. Сложность эксплуатации растёт не от числа блоков, а от числа неявных зависимостей: переходы, зависящие от данных других сущностей, действия, изменяющие несколько объектов, параллельные ветви, ожидание внешнего ответа.
Дизайнер остаётся удобным инструментом, пока выполняются условия:
- процесс имеет конечное число состояний и заранее известный срок жизни;
- переходы между состояниями выражаются данными самого объекта процесса;
- нет длительного ожидания внешних систем;
- нет необходимости в откате частично выполненных операций.
3.2 Где начинается проблема
Симптомы, указывающие на усложнение схемы (а не обязательно на проблему производительности):
- один экземпляр процесса выполняет десятки операций с разными объектами;
- в схеме присутствуют ветвление по результатам внешних вызовов;
- часть переходов не выражена в схеме, а реализована в коде или вебхуке — схема перестаёт быть полным описанием поведения;
- зависшие экземпляры обнаруживаются по жалобам пользователей, а не мониторингом.
Симптомы, указывающие именно на производительность или корректность (требуют измерений, а не выводов):
- резкий рост числа активных экземпляров с резким ростом нагрузки на CPU;
- массовые операции («изменить поле у всех сделок отдела») вызывают лавинообразные задержки;
- часть экземпляров не завершается и не отменяется.
Не утверждается, что визуальный дизайнер блокирует таблицы или перегружает ядро сам по себе. Проверяется это измерением: время конкретного действия, профиль SQL-запросов, состояние блокировок.
3.3 Массовые операции
Массовое изменение объектов — отдельный класс риска. Механизм: один пользовательский сценарий порождает изменение сотен или тысяч записей, и если каждое изменение дополнительно вызывает бизнес-процесс, вебхук или пересчёт связей, работа разворачивается в десятки тысяч операций.
Что с этим делать: разбивать массовую операцию на порции с паузами (в коробочной версии — с контролем нагрузки), выносить в фоновые задачи, переходить на пакетные методы REST, а не на цикл из одиночных вызовов. Методов пакетной работы у REST достаточно для основных операций, но любая пакетная операция имеет лимиты размера пакета — их нужно смотреть в документации для вашей версии и закладывать в код явно.
3.4 Повторный запуск и идемпотентность
Бизнес-процесс — это исполняемый код. Его повторный запуск на том же объекте повторяет действия. Отсюда требования:
- идентификатор идемпотентности операции (например, dealId + actionType + correlationId);
- проверка «уже выполнено» перед действием, которое нельзя повторять (создание документа в ЭДО, проведение документа в ERP, списание товара);
- журнал выполненных шагов.
3.5 Когда нужна внешняя оркестрация
Признаки, что сценарий уместно вынести в отдельный сервис:
- процесс должен ожидать ответа внешней системы в течение длительного или неопределённого времени, а требования к восстановлению, мониторингу и повторной обработке делают целесообразным отдельное управление состоянием процесса;
- нужна параллельная работа с несколькими системами с независимыми тайм-аутами и компенсациями;
- требуется повторная обработка зависших шагов после сбоя, чего штатный процесс сам по себе не реализует;
- нужна наблюдаемость: метрики по каждому шагу, трассировка, разбор инцидента по идентификатору корреляции.
Что обязано быть в таком сервисе:
- идентификатор корреляции (correlation ID), передаваемый во все вызовы;
- явное хранение состояния;
- повторные попытки с экспоненциальной задержкой и ограничением числа попыток;
- идемпотентность обработчиков;
- тайм-ауты на каждом исходящем вызове;
- компенсация частично выполненных операций (явные компенсирующие переходы, а не «откат всего»);
- очередь недоставленных сообщений с ручным или автоматическим разбором.
Что остаётся в Битрикс24: приём команды, отображение статуса, хранение результата в объекте CRM.
3.6 Наблюдаемость процесса
Минимальный набор: список активных экземпляров с возрастом, счётчик зависших, причина последнего перехода, ссылка на correlation ID в журнале сервиса-оркестратора. Без этого диагностика зависшего согласования — ручной поиск по журналам, а это уже операционная стоимость.
4. Права доступа и защищённый шлюз
4.1 Штатная модель и её границы
Битрикс24 имеет штатную ролевую модель: роли, права на сущности, права на поля, ограничения видимости по подразделениям и группам. Этого достаточно для типовой ситуации «менеджер видит своих клиентов».
Проблемы начинаются, когда требования динамичнее: «доступ к полю суммы открывается только после того, как сделка перешла в статус “Согласовано”», «пользователь видит документ, только если он участник маршрута согласования и маршрут не отменён», «внешний партнёр видит только свой набор полей и не видит внутренние комментарии».
Здесь нужно чётко разделить два разных механизма:
Ограничение видимости в интерфейсе
ЧТО ДЕЛАЕТ
Скрывает элементы в списках, карточках, отчётах портала.
ЧЕГО НЕ ГАРАНТИРУЕТ
Само по себе не гарантирует защиту от получения данных через API или другой клиент.
Проверка прав на сервере при обращении к API
ЧТО ДЕЛАЕТ
Проверяет разрешения вызывающего пользователя или приложения в соответствии с механизмами авторизации конкретного метода.
ЧТО НУЖНО УЧИТЫВАТЬ
Необходимо отдельно проверять права на чтение и изменение объектов, доступность отдельных полей и поведение конкретных методов API.
Скрытие поля или элемента интерфейса само по себе не гарантирует защиту данных. При этом API Битрикс24 имеет собственные механизмы проверки прав: например, crm.item.list не включает в выборку элементы, на чтение которых у вызывающего пользователя нет разрешения. Поэтому необходимо отдельно проверить права на чтение и изменение объектов, доступность отдельных полей и поведение конкретных методов API. Для внешнего шлюза следует реализовать дополнительную проверку бизнес-условий, если штатной авторизации недостаточно для требуемой модели доступа.
4.2 Облачная и коробочная версия
Облако
Изменение кода ядра, серверной конфигурации и прямой доступ к базе недоступны. Управление доступом реализуется на уровне ролей, настроек и приложений; серверные проверки прав должны выполняться в вашем приложении (в виде локального/облачного приложения), а не в ядре.
Коробочная версия
Технически доступны изменения серверной конфигурации, кода и схемы данных, но это отдельный продукт жизненного цикла: обновления платформы, совместимость кастомных изменений, ответственность за поддержку. Модификация ядра почти всегда окупается дороже, чем реализация того же контроля в собственной точке входа — через application/gateway-слой.
4.3 Защищённый шлюз
Когда нужен шлюз: интеграция должна обращаться к порталу вне зависимости от того, от чьей учётной записи идёт вызов; требуется единая политика доступа к данным для нескольких потребителей; требуется аудит обращений.
Обязательные функции шлюза:
01 / Аутентификация
Аутентификация собственных клиентов (сервисные токены, mTLS/секреты в хранилище секретов — в зависимости от модели угроз).
02 / Авторизация
Проверка, какие поля и сущности данный клиент вообще может читать/писать.
03 / Проверка контекста
Сверка с доменными правилами (статус объекта, участник маршрута, подразделение), а не только роли.
04 / Минимальные привилегии
Отдельная учётная запись на каждую интеграцию, минимальный набор прав.
05 / Аудит
Журнал «кто, когда, какую операцию над каким объектом выполнил», с корреляцией с журналом шлюза.
06 / Безопасная передача
TLS, проверка сертификатов, отсутствие токенов в URL и логах.
4.4 Ключевой тезис
Внешнее приложение не решает проблему доступа само по себе. Оно добавляет точку, где контроль можно централизовать, но эта точка должна действительно выполнять проверки.
Практические ошибки:
- проверка прав есть только в UI, а интеграция читает данные через API — обход;
- шлюз авторизует по роли, но не учитывает статус объекта — утечка «черновиков»;
- интеграция использует одну админскую учётную запись для всех операций — невозможно разобрать, кто что изменил;
- токены хранятся в коде репозитория или в конфигурации портала.
Проверка: попросите показать код проверки прав и журнал отказов. Если отказ по правам не логируется — контроля нет.
5. Интеграции с 1С, SAP и другими корпоративными системами
5.1 Почему вебхук ≠ надёжная интеграция
Вебхук — это способ уведомить внешнюю систему об изменении объекта. Он решает задачу «узнать, что что-то изменилось», но сам по себе не гарантирует надёжную доставку, правильный порядок обработки и отсутствие потерь данных.
01. Гарантия доставки
Если обработчик события не ответил или вернул ошибочный HTTP-статус, Битрикс24 не гарантирует повторную отправку этого события. Если принимающая система недоступна или не сохранила данные, уведомление может быть потеряно для бизнес-процесса. Поэтому необходимы надёжное сохранение принятых событий, журнал ошибок и регулярная сверка данных между системами.
02. Порядок обработки
Несколько событий одного объекта могут обрабатываться параллельно или завершаться не в том порядке, в котором были получены. В результате более старые данные могут перезаписать новые. Для предотвращения таких ситуаций нужны контроль версии объекта, проверка времени изменения и правила разрешения конфликтов.
03. Отсутствие дублей
При повторном запуске операции или повторной обработке сообщения одно и то же действие может выполниться несколько раз. Например, в ERP могут появиться дубли документов или повторно примениться изменения. Идемпотентность позволяет распознавать уже выполненные операции по уникальному ключу и не применять их повторно.
04. Ошибки получателя
Принимающая система может получить запрос, но завершить обработку с ошибкой, аварийно остановиться или не успеть сохранить результат. Сам факт отправки запроса не подтверждает успешное выполнение бизнес-операции. Поэтому необходимо разделять приём сообщения и завершение обработки, фиксировать статусы операций и предусматривать контролируемые повторы.
Практический вывод
Вебхук — это сигнал «проверь», а не команда «примени». Надёжная интеграция требует контроля доставки, защиты от повторной обработки и механизма сверки состояний.
5.2 Модель доставки
Выбор модели доставки определяет, как системы взаимодействуют, что происходит при сбоях и насколько сложно обеспечить целостность данных.
МОДЕЛЬ 01
Синхронный вызов
Отправитель ждёт ответа принимающей системы.
Когда применять
Нужно немедленное подтверждение. Следует учитывать риск каскадных таймаутов.
МОДЕЛЬ 02
Событие (вебхук)
Система отправляет уведомление об изменении без гарантии порядка и доставки.
Когда применять
Для событий с невысокой критичностью, если предусмотрен механизм сверки.
МОДЕЛЬ 03
Периодическая сверка
Системы сравнивают свои состояния по заданному расписанию.
Когда применять
Для систем без событийного интерфейса и как дополнительная страховка событийной интеграции.
Рекомендуемый подход
Надёжный интеграционный контур почти всегда комбинированный: событие минимизирует задержку, а периодическая сверка помогает обнаруживать пропущенные изменения и обеспечивать полноту данных.
5.3 Проблемы при росте объёма
По мере роста количества объектов и частоты обмена интеграция начинает конкурировать за ресурсы, увеличивается цена ошибок и усложняется восстановление после сбоев.
01. Конкуренция за ресурсы
Массовая выгрузка данных из CRM в ERP конкурирует с пользовательскими операциями за соединения и процессы веб-сервера.
02. Неограниченные повторы
При недоступности ERP каждый поток может продолжать повторять запросы. Вместо восстановления система получает дополнительную нагрузку, которая мешает ей восстановиться.
03. Длинные транзакции
Если транзакция остаётся открытой во время сетевого вызова к ERP, блокировки записей CRM могут удерживаться всё время ожидания ответа. В коробочной версии это проверяется профилированием и анализом длительных транзакций в СУБД.
04. Деградация связанных процессов
Неполная интеграция может распространять ошибки на несколько сущностей: сделку, контакт, товар, счёт или связанные документы.
5.4 Требования к интеграционному контуру
Надёжность определяется не самим фактом обмена данными, а тем, как система идентифицирует операции, ограничивает нагрузку, фиксирует ошибки и восстанавливается после сбоев.
Идемпотентность
Ключ операции должен учитывать идентификатор объекта, тип операции и версию изменения. Повторная доставка одного сообщения не должна приводить к повторному применению уже выполненной операции. Для этого обработчик проверяет ключ и состояние операции, а фиксация результата должна быть согласована с механизмом хранения ключей идемпотентности.
Очередь и воркеры
Сообщения обрабатываются через очередь. Отдельные обработчики-воркеры выполняют работу, а уровень параллелизма ограничивается с учётом возможностей CRM, ERP и инфраструктуры.
Контролируемые повторы
Экспоненциальная задержка между попытками, ограничение их количества и отдельная очередь недоставленных сообщений после исчерпания лимита. Для временных ошибок повторы допустимы, для постоянных ошибок требуется отдельная обработка.
Мониторинг
Глубина очереди, возраст самого старого сообщения, доля ошибок и скорость обработки. Эти показатели помогают выявлять отставание до того, как оно станет критичным.
Сверка и восстановление
Регулярная сверка данных между системами, журнал изменений и процедура повторной обработки. Резервное копирование и восстановление из резервной копии проектируются отдельно: наличие очереди само по себе не гарантирует восстановление потерянных данных.
Расчёт пропускной способности
Число воркеров и их производительность определяются по измеренной скорости поступления и обработки сообщений, размеру накопленной очереди и допустимому времени её расчистки.
Модель расчёта времени расчистки очереди
Обозначим скорость поступления сообщений как λ (шт./с), а суммарную скорость их обработки — как μ (шт./с). При постоянных скоростях очередь сокращается, если μ > λ. Если μ < λ, очередь растёт. При μ = λ её средний размер не сокращается за счёт разницы скоростей.
ФОРМУЛА ВРЕМЕНИ РАСЧИСТКИ
T ≈ Q / (μ − λ)
При продолжающемся поступлении сообщений, постоянных скоростях и условии μ > λ
T — расчётное время сокращения накопленной очереди до нуля;
Q — число сообщений в очереди на момент расчёта;
μ — суммарная скорость обработки сообщений;
λ — скорость поступления новых сообщений.
Границы применения модели
Формула предполагает постоянные скорости поступления и обработки. При остановке входящего потока время расчистки оценивается как Q / μ. При продолжающемся потоке используется разница μ − λ. В реальной системе необходимо учитывать пики нагрузки, повторные попытки, ограничения внешних API и фактическую производительность обработчиков. Если μ < λ в течение длительного времени, увеличение числа повторов не решит проблему: необходимо увеличить производительность обработки или снизить входящую нагрузку.
5.5 Требования к «реальному времени»
Для каждой интеграции необходимо определить SLO — целевой уровень качества сервиса, в том числе допустимую задержку между изменением данных в CRM и их отражением в ERP.
СЦЕНАРИЙ 01
Создание сделки
Для критичного процесса задержка в десятки секунд может быть недопустима, если она мешает дальнейшей работе пользователя или запуску зависимых операций.
СЦЕНАРИЙ 02
Согласование цены
Для некоторых процессов допустима задержка в несколько часов, если она соответствует бизнес-регламенту и не блокирует критичные операции.
Техническое требование вместо маркетинговой формулировки
«Реальное время» без измеримого SLO — не техническое требование. Необходимо установить допустимую задержку для конкретного процесса, определить способ её измерения и контролировать соблюдение целевого значения.
5.6 Архитектурные варианты
Архитектуру интеграции выбирают с учётом объёма обмена, требований к задержке, количества потребителей, устойчивости к сбоям и стоимости сопровождения.
ВАРИАНТ 01
Прямая интеграция
Преимущества
Минимум компонентов, простое развёртывание.
Ограничения
Смешивание доменной логики и транспорта, сложность масштабирования и наблюдения.
Когда применять
Пилот, небольшой объём данных, одна пара систем.
ВАРИАНТ 02
Выделенный сервис-шлюз
Преимущества
Единая точка контроля, повторное использование интеграций и аудит.
Ограничения
Дополнительный компонент, который необходимо сопровождать и защищать от отказов.
Когда применять
Несколько потребителей, централизованные права доступа и требования к аудиту.
ВАРИАНТ 03
Асинхронная очередь
Преимущества
Развязывает системы, позволяет переживать временную недоступность и масштабировать обработку воркерами.
Ограничения
Дополнительная задержка, усложнение отладки и необходимость сверки.
Когда применять
Массовые потоки данных и обмен без жёсткой синхронизации.
ВАРИАНТ 04
Гибридная модель
Преимущества
Синхронное чтение обеспечивает быстрый ответ пользователю, а асинхронная запись разгружает источник.
Ограничения
Необходимо одновременно управлять двумя моделями согласованности данных.
Когда применять
Типичный корпоративный сценарий, в котором важно сочетать скорость ответа и устойчивость обмена.
Архитектурный принцип
Не нужно усложнять небольшую интеграцию без необходимости. Но по мере роста числа систем, объёма данных и требований к восстановлению выделенная очередь или сервис-шлюз помогают централизовать контроль и снизить связанность компонентов.
5.7 Обнаружение и устранение расхождений
Расхождение между CRM и ERP должно определяться измеримым признаком: количеством записей, которые присутствуют в одной системе и отсутствуют в другой, с учётом времени сравнения и правил синхронизации.
Обязательные элементы контроля
01. Регулярная сверка
Ежедневное или еженедельное сравнение записей по идентификаторам.
02. Отчёт о расхождениях
Список отсутствующих, изменённых или не совпадающих записей с указанием времени проверки.
03. Правило разрешения
Определение главной системы для каждого поля: CRM, ERP или иной источник данных.
04. Журнал исправлений
Фиксация причины, времени, исходного состояния и результата корректировки.
Итог
Без регулярной сверки любое восстановление после сбоя рискует превратиться в ручной поиск потерянных изменений. Сверка, журнал исправлений и заранее определённые правила разрешения конфликтов превращают восстановление в управляемую процедуру.
6. Сквозной условный пример
Пример модельный. Цифры иллюстративны, получены расчётом по заданным допущениям, а не измерением на реальном проекте Log-AI.
6.1 Условия
Дистрибьютор промышленного оборудования, коробочная версия. В CRM (Битрикс24) ведётся работа с дилерами, смарт-процессы: «Заявка на закупку», «Заявка на сервис», «Лицензия». ERP — 1С.
Заявка на закупку запускает многоэтапное согласование: сначала коммерческий отдел, затем финансовый, затем служба безопасности, с ожиданием остатков из 1С и согласования ценового комитета.
10 000
заявок в год
200
пользователей
60–80
запусков в день
Объём: по условию модели — 10 000 заявок в год, 200 пользователей, пиковый поток согласований — 60–80 запусков в день.
6.2 Исходная архитектура
CRM и данные
Все сущности в Битрикс24, справочные данные (остатки, цены) копируются в пользовательские поля SPA.
Интеграция с 1С
Интеграция с 1С: вебхук на изменение сделки + скрипт синхронизации остатков по расписанию.
Бизнес-процесс
В бизнес-процессе заявки ветвление по результату запроса остатков в 1С.
Права доступа
Права реализованы на уровне ролей портала; дополнительная логика видимости — в настройках списков и в веб-форме.
6.3 Симптомы
Жалобы:
Заявка «долго открывается»
Заявки «зависают на ожидании остатков»
Менеджеры видят в списке заявки других отделов
При обновлении остатков в 1С часть заявок не обновляется
6.4 Какие метрики собрали
Время открытия карточки заявки
Устойчиво выше ожидаемого; растёт с числом связанных объектов
Число HTTP-запросов к API на открытие карточки
Множество одиночных вызовов вместо пакетных
Длительные транзакции в СУБД
Есть транзакции, удерживающие соединение во время вызова к 1С
Глубина и возраст очереди обработки
Рост очереди в период недоступности 1С
Расхождения между CRM и 1С
Ненулевые, без процедуры разбора
6.5 От симптомов к первым причинам
Медленное открытие карточки
→
Интерфейс запрашивает связанные данные пообъектно. Причина — способ интеграции данных в UI, а не объём данных.
Зависание на ожидании остатков
→
Бизнес-процесс делает сетевой вызов внутри шага и не имеет корректной обработки таймаута и повторов; повторный запуск процесса дублирует шаги.
Ошибки видимости
→
Ограничение настроено в списках интерфейса, но не в серверной логике; часть потребителей читает через API.
Расхождения
→
Нет сверки, вебхук используется как команда, а не как сигнал.
6.6 Что сделали (в рамках модели)
Оставили в Битрикс24: сущности CRM и SPA, хранение справочных данных пользователя, бизнес-процесс согласования (переписан короче), роли и базовые права.
Вынесли наружу:
Сервис синхронизации с 1С
Сервис синхронизации с 1С — читает и пишет через API, работает по расписанию, ведёт сверку.
Очередь задач
Очередь задач для операций, изменяющих объекты в пачке.
Сервис прав доступа
Сервис прав доступа (шлюз) для внешних потребителей данных.
Организация работы:
Идемпотентность по ключу «тип объекта + идентификатор + версия».
Повторные попытки с ограничением числа попыток и очередью недоставленных сообщений.
Компенсация: если заявка отклонена на финансовом этапе, сервис возвращает остаточные состояния в согласованный вид (в модели это правило «сброса в состояние Отклонена с протоколом»).
Восстановление после сбоя: очередь + процедура разбора + ежедневная сверка.
6.7 Сравнение показателей
Все значения в сравнении ниже — условные параметры модели, а не результаты измерений на реальном проекте Log-AI. Расчётные значения приведены отдельно; остальные показатели требуют подтверждения измерениями или исходными допущениями.
Число запросов к API на открытие карточки
До (условие модели)
40
После (условие модели)
6
Обоснование модели: предполагается сокращение числа обращений за счёт пакетных вызовов и исключения лишних запросов. Значения 40 и 6 иллюстративны: фактический эффект зависит от состава загружаемых данных и возможностей API.
Задержка обработки записи в очереди при пике
До (условный сценарий)
45 мин
После (условный сценарий)
3 мин
Эти значения иллюстрируют возможный целевой эффект, но не получены из приведённого ниже расчёта. Для обоснования необходимы исходная глубина очереди, скорость поступления сообщений, производительность обработчиков и условия измерения задержки.
Число ручных исправлений расхождений в месяц
До (условие модели)
18
После (целевое допущение)
0
Нулевое значение — целевой сценарий, а не гарантированный результат. Сверка позволяет выявлять расхождения, но возможность полностью исключить ручные исправления зависит от качества данных, правил разрешения конфликтов и полноты автоматизации восстановления.
Расчёт времени расчистки очереди
Для иллюстрации примем следующие параметры: скорость поступления новых сообщений λ = 0,5 сообщения/с, скорость обработки μ = 1,2 сообщения/с, накопленная очередь Q = 40 сообщений. Считаем, что скорости постоянны, а обработчики работают без дополнительных ограничений и ошибок.
Сценарий 1. Входящий поток остановлен
T = Q / μ = 40 / 1,2 ≈ 33,3 с
При отсутствии новых сообщений обработчик освобождает очередь примерно за 33 секунды.
Сценарий 2. Новые сообщения продолжают поступать
T = Q / (μ − λ) = 40 / (1,2 − 0,5) ≈ 57,1 с
Чистая скорость сокращения очереди составляет 1,2 − 0,5 = 0,7 сообщения/с. При этих допущениях накопленная очередь сокращается примерно за 57 секунд.
Если после восстановления ERP скорость поступления превышает производительность обработчиков (λ = 1,5 при μ = 1,2 сообщения/с), очередь растёт со скоростью λ − μ = 0,3 сообщения/с, то есть на 18 сообщений в минуту. При устойчивом превышении входящего потока над производительностью очередь не будет сокращаться. Необходимо увеличить суммарную производительность обработки, снизить входящую нагрузку или сочетать оба подхода. Число обработчиков следует определять по измерениям, а допустимую задержку — фиксировать как SLO.
Вывод примера
В рамках модели вынесены три узких места: синхронизация с ERP, пакетная обработка и контроль доступа для внешних потребителей. Доменная модель CRM и интерфейс согласований остались в Битрикс24. Приведённые числовые показатели иллюстрируют предполагаемый эффект архитектурных изменений; подтвердить его можно только измерениями до и после внедрения.
7. Алгоритм диагностики «стандартных возможностей недостаточно»
ШАГ 1
Зафиксировать требования
Вопросы: какая максимальная допустимая задержка для этой операции? Какой объём данных и какая пиковая нагрузка? Какие требования к согласованности (где допустимо расхождение)? Какие требования к аудиту?
Критерий результата
Критерий результата: есть числовые значения, а не «должно быть быстро».
ШАГ 2
Измерить фактическое поведение
Снимается профиль реальной операции на реальных данных: медиана и 95-й процент времени ответа, число запросов на операцию, доля ошибок, поведение под нагрузкой, совпадающей с пиковой.
Критерий
Критерий: подтверждено расхождение с требованием. Если расхождения нет — проблема не в производительности, ищите в корректности или сопровождаемости.
ШАГ 3
Найти первопричину
Строится цепочка «симптом → узкое место». Метод: временное исключение слоёв (отключить дочернюю загрузку в интерфейсе, отключить бизнес-процесс, отключить интеграцию) и сравнение времени. Проверяются гипотезы про блокировки — длительные транзакции, ожидания (коробочная версия). Проверяется гипотеза «не хватает индекса» — через план выполнения запроса.
Критерий
Критерий: узкое место локализовано до конкретного слоя.
ШАГ 4
Проверить штатную оптимизацию
Проверяются конкретные меры: пакетные вызовы вместо циклов; перенос вычислений в базу; добавление индекса; упрощение схемы связей; разбиение массовой операции на порции; разделение процесса на несколько коротких.
Критерий
Критерий: меры реализованы, измерения повторены, остаточная проблема описана количественно.
ШАГ 5
Сравнить альтернативы
Таблица сравнения по критериям: время до эффекта, изменение объёма данных у пользователя, операционная сложность, наблюдаемость, риск при сбое, стоимость владения.
ШАГ 6
Оценить стоимость владения учитывается не только разработка: сопровождение, мониторинг, дежурство, восстановление после инцидентов, обучение, документация. Отдельная статья — технический долг: сколько разных мест в системе знают об этом правиле.
ШАГ 7
Зафиксировать критерии приёмки
До начала работ: метрики (до/после), критерии отката, план отката, ответственный за приёмку, дата пересмотра решения.
8. Архитектурные ошибки и антипаттерны
Вынесение сервиса без подтверждённой необходимости
Механизм отказа
Добавлен компонент, который ничего не ускоряет
Наблюдаемые симптомы
Время ответа не изменилось, компонент живёт, не используется
Последствия
Затраты на поддержку без выигрыша
Как избежать
Требовать измеримый эффект до вынесения
Дублирование источников истины
Механизм отказа
Изменение в одной системе не попадает в другую
Наблюдаемые симптомы
Расхождения, ручные правки, «кто где правильный»
Последствия
Неустранимые конфликты данных
Как избежать
Явное владение полем, журнал изменений
Синхронная цепочка вызовов без тайм-аутов
Механизм отказа
CRM ждёт ERP, ERP ждёт склад
Наблюдаемые симптомы
Каскадные таймауты, «зависшие» операции
Последствия
Частичные операции без записи
Как избежать
Таймаут на каждом вызове, асинхронность по умолчанию
Бесконтрольные повторные попытки
Механизм отказа
При сбое все потоки повторяют одновременно
Наблюдаемые симптомы
Шторм нагрузки на недоступную систему
Последствия
Восстановление ухудшает ситуацию
Как избежать
Ограничение попыток, задержка, очередь недоставленных
Отсутствие идемпотентности
Механизм отказа
Повтор обрабатывает уже выполненное
Наблюдаемые симптомы
Дубли документов, двойные списания
Последствия
Финансовые и учётные последствия
Как избежать
Ключ идемпотентности + проверка перед действием
Чрезмерно сложный бизнес-процесс
Механизм отказа
Схема описывает поведение, часть которого живёт в коде
Наблюдаемые симптомы
Зависшие экземпляры, непонятная причина отказов
Последствия
Неуправляемая поддержка
Как избежать
Дробить схему, явно отслеживать состояние
Проверки доступа только в интерфейсе
Механизм отказа
Прямой запрос к API обходит ограничение
Наблюдаемые симптомы
Утечка данных, жалобы
Последствия
Ответственность
Как избежать
Серверные проверки, шлюз
Отсутствие сверки после ошибок
Механизм отказа
Неизвестно, где истина
Наблюдаемые симптомы
Расхождения обнаруживаются пользователями
Последствия
Ручной разбор, доверие к системе
Как избежать
Регулярная сверка с отчётом
Очередь без мониторинга
Механизм отказа
Очередь растёт, никто не замечает
Наблюдаемые симптомы
Обработка отстаёт на дни
Последствия
Данные теряют актуальность без аварии
Как избежать
Метрики глубины и возраста очереди, алерты
9. Итоговый критерий выбора
Остаться в стандартной конфигурации
Остаться в стандартной конфигурации, если требования выражены в терминах объектов, ролей и статусов, объёмы данных сопоставимы с текущими, а измерения не показали превышения допустимых задержек. Это состояние по умолчанию, и оно сохраняется, пока выполняются его измеримые условия.
Оптимизировать существующую реализацию
Оптимизировать существующую реализацию, если узкое место локализовано в конкретном алгоритме, выборке или способе загрузки данных: пакетные вызовы, перенос вычислений в базу, индексы, упрощение схемы, разбиение массовых операций. Это самая дешёвая категория исправлений и первое, что нужно проверить.
Выносить во внешний сервис
Выносить во внешний сервис, если подтверждено хотя бы одно из трёх: измерения показали, что узкое место не устраняется штатными мерами; требуется семантика надёжной доставки, повторов и компенсаций, которой нет в штатных механизмах; требуется централизованный контроль доступа для внешних потребителей или обработка потоков, несовместимая с моделью запрос-ответ.
ГЛАВНОЕ УСЛОВИЕ
И в каждом случае остаётся одно и то же условие: внешний компонент должен быть измеримым улучшением, а не переносом сложности.
Если у вас нет метрики «до», у вас нет и метрики «после», а значит, нет и основания для архитектурного решения — только предчувствие, что «так больше нельзя».
Как посчитать экономический эффект от автоматизации
Сколько на самом деле стоит автоматизация
Когда автоматизировать процесс не нужно
Все инженерные материалы и экспертные статьи
Полный алфавитный справочник ИТ-терминов