Сбор и обработка данных

 

 

 

Архитектура получения, обработки и передачи данных из внешних источников

Данные компании могут находиться в десятках независимых источников: на сайтах, в API, маркетплейсах, B2B-порталах, базах данных, документах и файлах поставщиков. Для работы с ними недостаточно просто получить информацию — необходимо проверить её качество, сопоставить записи, привести к единой структуре и подготовить для дальнейшего использования.

LOG-AI разрабатывает системы автоматизированного сбора и обработки данных. Решения охватывают получение информации из различных источников, очистку, нормализацию, сопоставление объектов, обогащение, классификацию, хранение и передачу в CRM, 1С, ERP, аналитические платформы и другие системы.

В зависимости от задачи система может отслеживать изменения, сохранять историю данных, обрабатывать большие объёмы информации, использовать ИИ для работы с неструктурированными источниками и запускать связанные операции. Получение и обновление данных выполняются по расписанию или при поступлении событий от источников, если такой механизм доступен.

[УЗЕЛ_01 // SOURCES]
> Источники данных

Система получает информацию с сайтов, через API, из маркетплейсов, B2B-порталов, каталогов, файлов, баз данных, Telegram, VK и других доступных источников. Для каждого источника учитываются структура данных, способы доступа и технические ограничения. Подробнее о способах получения информации из разных источников, работе с форматами и регулярном обновлении данных — в статье «как собирать данные из разных источников».

[УЗЕЛ_02 // INGEST]
> Сбор и получение

Сбор выполняется по расписанию или после получения события от источника, если такая возможность предусмотрена. Для нестабильных источников настраиваются контроль состояния, очереди обработки и повторные попытки получения данных.

[УЗЕЛ_03 // PROCESSING]
> Обработка данных

Полученная информация проверяется, очищается, нормализуется и сопоставляется с существующими записями. При необходимости данные объединяются, дополняются сведениями из других источников, классифицируются и обрабатываются с использованием ИИ.

[УЗЕЛ_04 // OUTPUT]
> Результат контура

Обработанные данные сохраняются в базах данных, передаются в CRM, 1С, ERP, аналитические платформы и другие целевые системы. Система фиксирует результаты операций, регистрирует ошибки и при необходимости запускает повторную обработку или отправляет уведомления ответственным сотрудникам.

 

Какие задачи решает автоматизированный сбор данных

[DATA_NODE_01]
Сбор данных из внешних источников

Получение информации из сайтов, API, маркетплейсов, B2B-порталов, каталогов, файлов и баз данных. Способ сбора определяется с учётом структуры и технических возможностей каждого источника.

• получение данных через API;
• сбор информации с сайтов;
• загрузка и обработка файлов;
• регулярное получение обновлений;
• объединение данных из нескольких источников;
• работа с источниками, требующими авторизации;
• использование прокси и резервных каналов при необходимости;
• контроль доступности источников и изменений их структуры.
[DATA_NODE_02]
Очистка и обработка данных

Обработка полученной информации: проверка структуры, очистка, нормализация, сопоставление объектов, устранение дубликатов и обогащение сведений из дополнительных источников. О причинах появления дубликатов, сопоставлении записей и поддержании качества данных — в статье «почему в системе появляются дубликаты и несовпадения».

• проверка структуры и обязательных полей;
• удаление лишних и некорректных значений;
• нормализация форматов;
• выявление и устранение дубликатов;
• объединение данных из разных источников;
• сопоставление одинаковых объектов;
• объединение связанных записей;
• дополнение информации сведениями из других источников;
• преобразование данных к единой модели;
• классификация и анализ с использованием ИИ;
• извлечение структурированных сведений из неструктурированных данных;
• проверка полноты и качества информации;
• обработка ошибок и повторная обработка записей.
[DATA_NODE_03]
Мониторинг изменений

Система отслеживает изменения в источниках и сохраняет сведения о состоянии данных на разных этапах обработки. Частота проверки определяется возможностями источника и требованиями проекта.

• контроль цен и остатков;
• отслеживание изменений карточек и каталогов;
• обнаружение новых записей;
• сохранение истории изменений;
• сравнение текущего и предыдущего состояния данных;
• отслеживание изменений ассортимента и характеристик;
• уведомления при наступлении заданных условий;
• контроль доступности источников и состояния сбора;
• уведомления об ошибках и сбоях.
[DATA_NODE_04]
Передача данных в системы компании

После обработки информация передаётся в системы, где она используется для учёта, работы с клиентами, аналитики и выполнения бизнес-процессов. О подготовке данных из нескольких источников к аналитической обработке и построению отчётов — в статье «от данных к решению: что происходит до дашборда».

• загрузка в CRM и 1С;
• запись в базы данных;
• передача в ERP и внутренние системы;
• подготовка данных для аналитических платформ;
• передача через API, webhooks, файлы и другие механизмы;
• запуск последующих сценариев и автоматизированных операций;
• контроль доставки и повторная передача при ошибках.
[DATA_NODE_05]
Надёжность и эксплуатация

Для работы с регулярными потоками данных настраиваются механизмы контроля состояния источников, обработки ошибок и восстановления незавершённых операций.

• очереди и повторные попытки при сбоях;
• журналирование и контроль состояния компонентов;
• мониторинг процессов и источников;
• резервирование критических компонентов;
• масштабирование под рост объёма данных;
• уведомления об ошибках и необходимости вмешательства.

 

Где используется автоматизированный сбор данных

[USE_CASE_01 // CATALOGS]
Товарные каталоги

Получение и объединение сведений о товарах из каталогов поставщиков, сайтов и торговых площадок. Обработка охватывает наименования, артикулы, характеристики, цены, остатки, изображения и категории.

[USE_CASE_02 // MARKET MONITORING]
Мониторинг рынка и конкурентов

Регулярный сбор сведений о ценах, ассортименте, наличии товаров и изменениях предложений на выбранных площадках. История наблюдений позволяет анализировать динамику рынка.

[USE_CASE_03 // SUPPLIERS]
Данные поставщиков

Получение прайс-листов, каталогов, сведений об остатках и других данных поставщиков. Информация из разных форматов проверяется, сопоставляется и приводится к общей структуре.

[USE_CASE_04 // AGGREGATION]
Агрегация источников

Объединение информации из независимых источников с сопоставлением записей, устранением дубликатов и сохранением связей между объектами.

[USE_CASE_05 // INGESTION]
Подготовка для CRM и ERP

Проверка, очистка, нормализация и обогащение данных перед загрузкой в корпоративные системы.

[USE_CASE_06 // PIPELINES]
Постоянные потоки данных

Организация регулярного получения и обновления больших объёмов информации с контролем состояния источников и результатов обработки.

[USE_CASE_07 // DOCUMENTS]
Обработка документов

Извлечение сведений из PDF, сканов, таблиц, прайс-листов и других документов. Полученная информация структурируется, проверяется и подготавливается для передачи в корпоративные системы. Подробнее об извлечении структурированных данных из PDF, сканов и других документов — в статье «как автоматизировать обработку документов».

[USE_CASE_08 // EVENTS]
Событийный мониторинг

Отслеживание изменений во внешних источниках и запуск заданных операций при появлении новых данных или наступлении определённых условий.

[USE_CASE_09 // AI_PROCESSING]
Интеллектуальная обработка данных

Использование ИИ для классификации, извлечения информации, анализа содержания, сопоставления объектов и обработки неструктурированных данных.

 

 
[DELIVERABLES // RESULT]

Что получает заказчик в результате

Разработанная система сбора и обработки данных

В результате разработки заказчик получает систему, настроенную для работы с определёнными источниками и типами данных.

В состав решения входят механизмы получения информации, проверки и преобразования данных, сопоставления объектов, хранения результатов и передачи в целевые системы. Конкретные компоненты определяются архитектурой проекта.

Система может работать по расписанию, реагировать на события источников, обрабатывать изменения и выполнять предусмотренные операции. Состав программного кода, конфигурации и технической документации, передаваемых заказчику, определяется договором.

[+]
Настроенный сбор данных

Подключение согласованных источников, настройка способов получения информации, расписания обновлений и условий запуска обработки.

[+]
Структурированные данные

Проверка, очистка, нормализация и преобразование информации к установленной структуре с учётом требований целевых систем.

[+]
Сопоставление и обогащение

Идентификация одинаковых объектов из разных источников, объединение связанных записей и дополнение информации сведениями из других источников.

[+]
Передача в целевые системы

Загрузка результатов в CRM, 1С, ERP, базы данных, аналитические платформы и другие подключённые сервисы.

[+]
Контроль обработки

Журналирование операций, фиксация ошибок, контроль состояния источников и результатов передачи. При необходимости настраиваются повторная обработка и уведомления.

[+]
История данных

Сохранение предыдущих состояний и фиксация изменений цен, остатков, характеристик и других параметров, если это предусмотрено архитектурой проекта.

[+]
Интеллектуальная обработка

При необходимости в систему включаются ИИ-модели для анализа содержания, классификации, извлечения сведений и обработки неструктурированных данных.

[+]
Программный код и документация

После завершения проекта заказчику передаются предусмотренные договором программный код, workflow, конфигурация и техническая документация.

 

Что требуется от вас для запуска проекта

Для проектирования системы необходимо определить источники данных, состав получаемой информации, требования к обработке и места дальнейшего использования результатов.

На начальном этапе изучаются доступные механизмы получения данных, структура источников и технические ограничения. На основании этих сведений формируются требования и архитектура решения. Готовое техническое задание для начала обсуждения не обязательно.

01
Источники и необходимые данные

Укажите, из каких источников необходимо получать информацию и какие сведения требуется собирать. Это могут быть сайты, API, B2B-порталы, маркетплейсы, файлы, базы данных и другие ресурсы. Для оценки задачи можно предоставить примеры файлов, ссылки и образцы исходных данных.

02
Доступ к источникам и инфраструктуре

Для проверки и подключения источников могут потребоваться доступы к API, webhooks, личным кабинетам, файлам, базам данных и другим механизмам обмена. Вариант размещения системы определяется отдельно: на инфраструктуре LOG-AI, сервере заказчика или арендованных вычислительных ресурсах.

03
Результат обработки

Необходимо определить, в каком виде должны представляться обработанные данные и куда их требуется передавать: в CRM, 1С, ERP, базу данных, аналитическую платформу, файл или другую систему.

04
Контактное лицо

Со стороны заказчика необходим сотрудник, знакомый с источниками данных и текущими процессами. Он сможет уточнять требования, предоставлять необходимую информацию и проверять результаты обработки.

[READY_FOR_DEPLOY] ГОТОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ НЕ ОБЯЗАТЕЛЬНО — ТРЕБОВАНИЯ И АРХИТЕКТУРА ОПРЕДЕЛЯЮТСЯ НА ЭТАПЕ ПРОЕКТИРОВАНИЯ

 

Стоимость сбора и обработки данных

[DEPLOYMENT // CORE_ENGINE]
РАЗРАБОТКА И ЗАПУСК КОНТУРА
от 800 000 ₽

Стоимость разработки и запуска системы сбора и обработки данных начинается от 800 000 ₽.

В состав работ входят проектирование архитектуры, подключение согласованных источников, разработка механизмов получения данных, настройка обработки, нормализации и сопоставления информации, обогащение данных, подготовка передачи в целевые системы, тестирование и запуск.

Состав решения зависит от количества и особенностей источников, объёма данных, требований к обработке, архитектуры хранения и интеграций с корпоративными системами.

Система может размещаться на инфраструктуре LOG-AI, сервере заказчика или арендованных вычислительных ресурсах.

ТЕХНИЧЕСКОЕ СОПРОВОЖДЕНИЕ И ЭКСПЛУАТАЦИЯ
от 50 000 ₽ / мес.

Первый месяц технического сопровождения после запуска включён в стоимость разработки. Оплата сопровождения начинается со второго месяца.

Сопровождение включает контроль работы процессов сбора и обработки, проверку доступности источников, диагностику ошибок и сбоев, устранение технических неисправностей и согласованные изменения в существующей системе.

Состав работ по сопровождению определяется договором. Услуга может предоставляться при любом из трёх вариантов размещения системы: на инфраструктуре LOG-AI, сервере заказчика или арендованных вычислительных ресурсах.

 

Частые вопросы о сборе и обработке данных

[ВОПРОС_01 // CONNECTIVITY]
Какие источники данных можно подключить?

Можно подключать сайты, API, B2B-порталы, маркетплейсы, каталоги, файлы, базы данных, Telegram, VK и другие источники, если получение данных технически доступно. Для каждого источника проверяются структура информации, способы доступа, ограничения и частота обновления.

[ВОПРОС_02 // PARSING]
Можно ли собирать данные с сайтов, если у них нет API?

Да. Если у сайта нет API, данные можно получать из доступных веб-страниц и других предусмотренных механизмов. Способ сбора определяется после проверки структуры сайта, доступности информации, условий доступа и технических ограничений. Если источник требует авторизации, отдельно оцениваются необходимые механизмы доступа и допустимость автоматизированного получения данных.

[ВОПРОС_03 // GLOBAL_MESH]
Можно ли работать с зарубежными сайтами и B2B-порталами?

Да. Возможность подключения зарубежных сайтов и B2B-порталов зависит от доступности источника, способов авторизации, структуры данных, технических ограничений и условий использования площадки. Перед разработкой проверяются доступные механизмы получения информации и требования конкретного источника.

[ВОПРОС_04 // INTERVALS]
Как часто система может получать и обновлять данные?

Частота получения данных определяется требованиями проекта и возможностями источника. Сбор может выполняться по расписанию, по событию через API или webhook либо при обнаружении изменений в источнике. Если источник не передаёт уведомления об изменениях, система может сравнивать новые данные с предыдущими результатами получения.

[ВОПРОС_05 // NORMALIZATION]
Как система обрабатывает и очищает полученные данные?

Обработка включает проверку структуры, удаление лишних значений, нормализацию форматов, преобразование типов данных, проверку обязательных полей и устранение дубликатов. При необходимости система сопоставляет записи из разных источников, объединяет связанные объекты и обогащает их дополнительной информацией. Правила обработки определяются составом данных и требованиями целевых систем.

[ВОПРОС_06 // DE-DUPLICATION]
Что происходит с дубликатами и некорректными данными?

Для обработки данных настраиваются правила идентификации и проверки записей. Система определяет дубликаты по заданным признакам, сопоставляет связанные объекты и проверяет наличие обязательных полей. Некорректные записи могут исключаться из основной обработки, направляться на дополнительную проверку или повторно обрабатываться после исправления ошибок. Способ обработки определяется правилами проекта.

[ВОПРОС_07 // PIPELINE_OUT]
Куда можно передавать обработанные данные?

Результаты обработки можно передавать в CRM, 1С, ERP, базы данных, аналитические платформы, внутренние системы и файлы. Способ передачи определяется возможностями целевой системы: API, webhook, файловый обмен, подключение к базе данных или другой доступный механизм интеграции.

[ВОПРОС_08 // AGGREGATION]
Можно ли объединять данные из нескольких источников?

Да. Данные из нескольких источников можно объединять в общей структуре. Для этого система сопоставляет объекты по идентификаторам, артикулам, характеристикам и другим признакам, устраняет дубликаты и связывает соответствующие записи. При необходимости сохраняются сведения об исходном источнике и времени получения данных.

[ВОПРОС_09 // GUARDRAILS]
Как контролируются ошибки и качество данных?

Система фиксирует результаты получения, обработки и передачи информации. Проверяются структура данных, обязательные поля, корректность значений и выполнение операций. При ошибках регистрируются их причины и состояние соответствующей операции. В зависимости от настроек выполняются повторные попытки, дополнительная проверка или уведомление ответственных сотрудников.

[ВОПРОС_10 // INFRASTRUCTURE]
Где хранится собранная информация и данные компании?

Место хранения определяется архитектурой проекта. Система может размещаться на инфраструктуре LOG-AI, сервере заказчика или арендованных вычислительных ресурсах. Данные могут храниться в базах данных, файловых хранилищах и других компонентах системы в зависимости от их назначения и требований к обработке. Условия доступа, хранения, передачи и удаления информации определяются архитектурой решения и договором.

[ВОПРОС_11 // SCALABILITY]
Что если объём данных или источников вырастет?

Систему можно расширять по мере роста объёма информации и количества подключённых источников. При необходимости дорабатываются механизмы получения и обработки данных, увеличиваются вычислительные ресурсы, оптимизируется хранение и подключаются дополнительные компоненты. Возможность и объём масштабирования зависят от текущей архитектуры и характера нагрузки.

[ВОПРОС_12 // DEPLOYMENT_OPS]
Что происходит после запуска и кто обслуживает систему?

После запуска система выполняет настроенные сценарии получения, обработки и передачи данных. Заказчик может эксплуатировать её самостоятельно или подключить техническое сопровождение LOG-AI. При сопровождении выполняются согласованные работы по контролю состояния процессов, диагностике ошибок, устранению неисправностей и изменению существующих механизмов обработки.

[ВОПРОС_13 // ARTIFACTS]
Что получает заказчик и можно ли забрать решение?

После завершения разработки и приёмки проекта заказчик получает материалы, предусмотренные договором: программный код, workflow, конфигурацию и техническую документацию. Решение может продолжать работать на инфраструктуре LOG-AI, сервере заказчика или арендованных вычислительных ресурсах. Условия передачи материалов, доступов и переноса системы определяются договором. Техническое сопровождение может предоставляться отдельно независимо от выбранного варианта размещения.

[ВОПРОС_14 // AI_PROCESSING]
Можно ли использовать ИИ для обработки собранных данных?

Да. ИИ можно включить в отдельные этапы обработки данных, если требуется анализ содержания, классификация, извлечение сведений из текстов и документов, сопоставление объектов или обработка неструктурированной информации. Используемые модели и сценарии определяются характером задачи. Если ИИ является частью решения, его разработка, настройка и эксплуатация учитываются при расчёте стоимости проекта.

[ВОПРОС_15 // DATA_AGGREGATION]
Можно ли объединить данные из разных источников в единый каталог?

Да. Можно создать единый каталог, в котором сведения из разных источников приводятся к общей структуре и связываются с соответствующими объектами. Для каждого объекта определяются основные идентификаторы, характеристики и связанные записи. При необходимости сохраняется информация об источниках, истории изменений и правилах обновления.

[ВОПРОС_16 // DATA_HISTORY]
Можно ли сохранять историю изменений данных?

Да. Система может сохранять предыдущие состояния данных и фиксировать изменения цен, остатков, характеристик, ассортимента и других параметров. История позволяет сравнивать значения за разные периоды, анализировать динамику и запускать уведомления или другие действия при наступлении заданных условий.

 

ОБСУДИМ ЗАДАЧУ

Опишите задачу своими словами: какие данные необходимо получать, откуда они поступают и где должны использоваться. Технические требования и способы реализации определяются на этапе проектирования.

ПРИМЕР
«Здравствуйте. У нас несколько направлений бизнеса, и данные поступают из разных источников: сайтов поставщиков, B2B-порталов, Excel-файлов и корпоративных систем. Сейчас сотрудники вручную собирают информацию, проверяют её, сопоставляют товары по артикулам и характеристикам, удаляют дубликаты и переносят результаты в нашу базу данных. При обновлении исходных данных приходится повторно проверять записи и искать расхождения. Хотим разработать систему, которая будет автоматически получать информацию из всех источников, проверять и нормализовать данные, сопоставлять одинаковые объекты, сохранять историю изменений и передавать результаты в нашу внутреннюю систему. Также необходимо предусмотреть регулярное обновление информации, контроль ошибок и уведомления при изменениях в источниках. Подскажите, как можно организовать такую систему, какая архитектура потребуется и сколько будет стоить разработка?»
AI Ассистент
×
ИИ может ошибаться