DATA LAKE И DATA WAREHOUSE: в чём разница

 

 

 

 

ДАННЫЕ // ANALYTICAL_INFRASTRUCTURE

Data Lake или Data Warehouse?

В корпоративной инфраструктуре данные редко живут в одном месте.

Операционные системы хранят заказы, клиентов, платежи, остатки и документы. CRM содержит историю взаимодействия с клиентами. ERP отвечает за финансовый и производственный контур. Интернет-магазин собирает события пользователей. Сервисы создают логи и технические события. Внешние системы передают дополнительные данные.

Пока каждый источник решает собственную операционную задачу, это нормально.

Проблема начинается тогда, когда компании нужно ответить на вопросы, которые проходят сразу через несколько систем:

АНАЛИТИКА // CROSS_SYSTEM_QUESTIONS
  • › сколько реально заработали на определённой группе клиентов;
  • › как менялась маржинальность по периодам;
  • › какой канал приводит наиболее ценных клиентов;
  • › почему выросло время обработки заказов;
  • › где возникают потери между продажей и отгрузкой;
  • › как операционные показатели связаны с финансовыми.

Для этого данные приходится собирать в отдельный аналитический контур.

И здесь появляются два понятия, которые часто используют как взаимозаменяемые: Data Lake и Data Warehouse. На самом деле это разные подходы к работе с данными.

КОНЦЕПЦИИ // DATA_ARCHITECTURE_MODELS
Data Lake

Ориентирован на хранение разнообразных данных с сохранением исходного контекста и возможностью последующей обработки для разных задач.

Data Warehouse

Ориентирован на согласованные аналитические модели и данные, подготовленные для предсказуемого использования в отчётности и анализе.

Разница не сводится к тому, что одно хранилище «для сырых данных», а другое «для готовых». Вопрос глубже: на каком этапе и в каком виде компания фиксирует структуру, качество и смысл своих данных.

 

АРХИТЕКТУРА // DATA_SEGREGATION

Сначала нужно разделить операционные и аналитические данные

Операционная база не всегда подходит для тяжёлой аналитики: запросы по большим объёмам исторических данных могут конкурировать с транзакциями за вычислительные ресурсы.

Допустим, ERP используется для оформления заказов. Для неё важно быстро создать заказ, изменить его статус, провести документ, проверить остаток, записать платёж. Это операционная нагрузка.

А теперь представим, что аналитик запускает запрос по нескольким годам истории, объединяя заказы, клиентов, товары, платежи и возвраты. Такой запрос читает большие объёмы данных и выполняет ресурсоёмкие соединения и агрегации.

РЕСУРСНЫЙ_КОНФЛИКТ // RESOURCE_COMPETITION

Если постоянно выполнять подобные запросы непосредственно в операционной базе, аналитика начинает конкурировать с бизнес-приложением за те же ресурсы.

> Поэтому аналитическую нагрузку часто выносят в отдельный контур, чтобы она меньше влияла на работу операционных систем.

ОПЕРАЦИОННЫЕ СИСТЕМЫCRMERPИнтернет-магазинКОНТУР ДАННЫХData LakeData WarehouseBI / аналитика / ML

Это разделение позволяет не заставлять операционную систему одновременно служить базой для транзакций, аналитическим хранилищем, архивом и источником данных для машинного обучения.

 

ОПРЕДЕЛЕНИЕ // DATA_LAKE_CONCEPT

Что такое Data Lake

Data Lake — это архитектурный подход к хранению разнообразных данных в централизованном или логически едином хранилище. Данные могут сохраняться в исходном или близком к исходному виде, а их структура и правила преобразования определяются по мере подготовки к конкретным сценариям использования.

Туда могут попадать:

ФОРМАТЫ_И_ИСТОЧНИКИ // RAW_DATA_SOURCES
  • › таблицы из корпоративных систем;
  • › выгрузки из CRM и ERP;
  • › события приложений;
  • › логи;
  • › JSON и XML;
  • › документы;
  • › данные из API;
  • › файлы;
  • › телеметрия;
  • › исторические снимки;
  • › результаты работы других систем.
ОСОБЕННОСТЬ // SCHEMA_ON_READ

Главная особенность — данные не обязательно приводятся к единой аналитической модели до момента загрузки.

Можно сохранить источник практически в исходном виде, а преобразование выполнить позже, когда появится конкретная задача.

  • › В классическом Data Warehouse структуру целевой модели обычно определяют до загрузки данных, а в Data Lake данные можно сохранить до того, как определены все способы их дальнейшего использования.

 

МЕТОДОЛОГИЯ // RAW_DATA_VALUE

Зачем вообще хранить данные в сыром виде

На первый взгляд возникает логичный вопрос:

зачем сохранять необработанные данные, если всё равно потом их придётся приводить к нормальной структуре?

При очистке, объединении и агрегации данных часть исходной информации может теряться. Если позднее изменятся правила расчёта показателя, восстановить его по уже обработанным данным удастся не всегда.

Когда данные сразу очищают, объединяют, агрегируют и приводят к единой модели, часть исходного контекста может исчезнуть.

Например, сегодня бизнес считает клиента по одному правилу. Через год методика изменяется.

> Если сохранился только итоговый показатель, пересчитать историю по новой логике может оказаться невозможно.

> Если же сохранены исходные данные, их можно обработать заново.

Поэтому сырой слой служит опорой для повторной обработки данных: он позволяет вернуться к сохранённому представлению исходной информации и построить новые производные наборы. При этом источником достоверных операционных данных по-прежнему может оставаться исходная система — например, ERP или CRM.

Например, компания изменила правила определения активного клиента. Если сохранились только итоговые показатели, пересчитать историю по новым правилам может оказаться невозможно: исходные события и атрибуты уже потеряны.

Для повторной обработки важно сохранять не только исходные значения, но и сведения об источнике, времени загрузки и версии схемы. Если данные меняются со временем, нужно также определить, какие версии сохраняются и как восстанавливается состояние на выбранную дату.

При этом повторный расчёт не всегда означает восстановление абсолютно точного прошлого: если источник исправил старые записи или удалил сведения, это тоже необходимо учитывать.

Для повторной обработки исходные данные нужно не только сохранять, но и сопровождать метаданными и правилами хранения.

«Сырое» не должно означать «бесконтрольное».

КРИТИЧЕСКИЙ_РИСК // DATA_SWAMP_TRAP

Если данные не каталогизируются, у наборов нет ответственных владельцев, а качество и доступ не контролируются, находить и безопасно использовать их становится всё сложнее. Такое состояние называют Data Swamp — болотом данных.

 

ПРАВИЛА // DATA_LAKE_GOVERNANCE

Data Lake — это не просто большая папка

Такое представление встречается довольно часто:

«Давайте купим объектное хранилище, будем складывать туда все файлы — вот и Data Lake».

Нет.

Само хранилище не создаёт архитектуру Data Lake.

Нужны как минимум понятные правила:

РЕГЛАМЕНТЫ // LAKE_RULES
  • › откуда поступают данные;
  • › в каком виде они сохраняются;
  • › как идентифицируется источник;
  • › какая версия данных актуальна;
  • › как отслеживается время загрузки;
  • › кто является владельцем набора;
  • › какие данные считаются чувствительными;
  • › кто имеет к ним доступ;
  • › как контролируется качество;
  • › каковы сроки хранения конкретного набора и условия его удаления или архивирования;
  • › как обнаруживаются изменения схемы;
  • › каким образом данные переходят из сырого состояния в подготовленное.

> Без этих механизмов озеро быстро превращается в хранилище, где данные формально существуют, но использовать их становится всё сложнее.

 

ОПРЕДЕЛЕНИЕ // DATA_WAREHOUSE_CONCEPT

Что такое Data Warehouse

Data Warehouse решает другую задачу.

Здесь данные приводятся к согласованным структурам и бизнес-правилам, необходимым для аналитики и отчётности. Подготовка может происходить как до загрузки в целевую модель, так и в процессе последующих преобразований — это зависит от архитектуры хранилища.

Информация из разных источников должна быть приведена к согласованному виду.

Например, в одной системе клиент идентифицируется по customer_id, в другой — по номеру договора, а в третьей вообще хранится только адрес электронной почты.

Для аналитики недостаточно просто сложить эти три набора рядом.

Нужно определить, как они связаны, какие идентификаторы считаются основными, как обрабатываются дубли и какие правила используются для формирования единой сущности клиента.

То же самое происходит с товарами, подразделениями, заказами, датами, валютами и другими бизнес-сущностями.

customer_idномер договораemail-адресСЛОЙ СОГЛАСОВАНИЯ ДАННЫХЕдиная сущность клиента

Поэтому Data Warehouse — это не просто место хранения.

Это ещё и слой согласования корпоративных данных.

 

ПРОЕКТИРОВАНИЕ // STRUCTURING_MODELS

В Warehouse структура появляется раньше запроса

Одна из классических характеристик Data Warehouse — подход schema-on-write.

Упрощённо это означает:

СРАВНЕНИЕ_ПРИНЦИПОВ // SCHEMA_TIMING
[ Data Warehouse: schema-on-write ]

Структура целевой модели и правила обработки определяются до загрузки данных в неё → данные преобразуются и загружаются → аналитические запросы используют подготовленную модель.

[ Data Lake: schema-on-read ]

Данные сохраняются без обязательного предварительного приведения к единой аналитической модели → структура и преобразования определяются при подготовке данных для конкретной задачи.

Это не означает, что в Data Lake структуры нет вообще.

Она есть, но часто применяется позже и может отличаться для разных сценариев использования.

Разница именно в том, когда принимается решение о структуре и правилах представления данных.

 

АРХИТЕКТУРА // MULTI_TIER_INFRASTRUCTURE

Почему нельзя просто выбрать что-то одно

Потому что у этих подходов разные задачи.

Представим, что компания получает данные из десяти источников. Часть источников имеет стабильную структуру, часть меняется. Одни данные нужны для регулярной финансовой отчётности, другие используются исследовательской командой, третьи понадобятся для обучения моделей машинного обучения.

Если заранее привести все данные к единой модели, новые источники и сценарии использования могут потребовать дополнительных преобразований или изменения существующей модели.

Если всё хранить исключительно в исходном виде, аналитикам придётся постоянно самостоятельно разбираться в источниках, качестве и бизнес-логике.

Поэтому на практике часто появляется многоуровневая архитектура.

ИсточникиRAW / BRONZEИсходные данныеМинимум преобразованийCLEAN / SILVERОчищенные инормализованные данныеCURATED / GOLDБизнес-модели иподготовленные наборыBI / ML / отчёты

Названия слоёв зависят от архитектуры. Важнее то, какие преобразования выполняются на каждом этапе:

по мере подготовки данных их очищают, связывают между собой и приводят к правилам, необходимым для конкретных аналитических задач.

 

ПРОЕКТИРОВАНИЕ // RAW_LAYER_ADVANTAGES

Что имеет смысл хранить в сыром виде

В Raw-слое обычно имеет смысл сохранять данные максимально близко к источнику.

Например, пришёл пакет данных из ERP — его можно сохранить с информацией о времени загрузки и источнике, не пытаясь сразу превратить его в идеальную аналитическую модель.

Это даёт несколько преимуществ.

ПРЕИМУЩЕСТВА // RAW_DATA_BENEFITS
  • › Можно повторить обработку:
    Если логика трансформации изменилась, данные можно обработать заново.
  • › Можно расследовать ошибки:
    Если итоговый показатель выглядит неправильно, можно вернуться к исходному набору данных и определить, на каком этапе возникло расхождение.
  • › Можно использовать данные для новых задач:
    Сегодня набор нужен для BI, завтра его можно использовать для аналитической модели или машинного обучения.
  • › Можно отделить загрузку от преобразования:
    Система сначала надёжно принимает данные, а затем обрабатывает их независимо.

Это особенно важно при больших объёмах и сложных интеграциях.

 

СЕМАНТИКА // DATA_CONSISTENCY_LIMITS

Но сырые данные нельзя бесконечно тащить в аналитику

Подготовленные слои нужны, чтобы аналитики использовали согласованные данные и общие правила расчёта показателей, а не повторяли одни и те же преобразования в каждом отчёте.

Бизнес-аналитик не должен каждый раз самостоятельно выяснять:

ВОПРОСЫ_ИНТЕРПРЕТАЦИИ // BUSINESS_LOGIC_GAPS
  • › какой источник считается главным;
  • › почему в одном наборе пять статусов заказа, а в другом семь;
  • › как считать выручку;
  • › как связывать клиентов между системами;
  • › какие заказы считаются отменёнными;
  • › как учитывать возвраты;
  • › какой курс валюты использовать.

Если каждый отчёт использует собственные правила обработки и расчёта, значения одних и тех же показателей могут различаться.

[ ОТЧЁТ 1 ]
Выручка: 100 миллионов
[ ОТЧЁТ 2 ]
Выручка: 103 миллиона
[ ОТЧЁТ 3 ]
Выручка: 97 миллионов

И все три расчёта формально могут быть правильными относительно своих правил.

Например, один отчёт учитывает возвраты, другой исключает их; один использует дату оплаты, другой — дату отгрузки. Оба могут выполнять запросы без технических ошибок, но отвечать на разные бизнес-вопросы.

Поэтому для каждого ключевого показателя нужно зафиксировать определение, источник данных, правила обработки исключений и период расчёта. Эти правила должны быть доступны аналитикам и одинаково применяться в отчётах, которые предназначены для сравнения.

ROOT_CAUSE // SEMANTIC_ERROR

Причина расхождения может быть не в запросах, а в разных определениях показателей и правилах обработки данных.

> Чтобы результаты совпадали, необходимо согласовать определения показателей, правила учёта возвратов и отмен, источники данных и порядок обработки исключений.

Именно здесь Data Warehouse особенно ценен: он позволяет закрепить общие правила расчёта показателей, согласовать бизнес-сущности и повторно использовать подготовленные данные в разных отчётах. Однако единая интерпретация возникает только при наличии согласованных определений, правил преобразования и контроля качества.

 

БИЗНЕС_ЛОГИКА // DATA_CONSISTENCY_VALUE

Warehouse нужен не только ради скорости запросов

Аналитическое хранилище нужно не только для ускорения запросов. Оно также позволяет согласовать определения показателей и правила объединения данных из разных источников.

Например, для показателя активный клиент необходимо определить, какие действия и за какой период учитываются. Если разные отчёты используют разные критерии, результаты будут различаться даже при работе с одними и теми же данными.

Допустим, в компании существует понятие «активный клиент». Если его определение находится только в головах аналитиков, каждый отчёт может трактовать его по-разному. Определение фиксируют в документации и реализуют в модели данных или общем механизме расчёта, чтобы разные отчёты использовали одинаковые критерии.

То же касается:

СУЩНОСТИ // BUSINESS_METRICS
  • › выручки;
  • › маржи;
  • › активного заказа;
  • › нового клиента;
  • › возврата;
  • › конверсии;
  • › отгруженного заказа;
  • › просроченной задолженности.

В Warehouse данные из разных систем приводятся к согласованным бизнес-сущностям и показателям, которые можно повторно использовать в отчётах.

 

СРАВНЕНИЕ // ARCHITECTURAL_COMPARISON

Data Lake и Data Warehouse решают разные проблемы

Их можно сравнить не как «старую и новую технологию», а как два разных слоя ответственности.

Основная задача
DATA LAKE Сохранять и использовать разнообразные данные
DATA WAREHOUSE Давать согласованные аналитические данные
Форматы
DATA LAKE Разнообразные
DATA WAREHOUSE Обычно структурированные
Преобразование
DATA LAKE Может происходить после загрузки
DATA WAREHOUSE Существенная часть подготовки до использования
Структура
DATA LAKE Гибкая
DATA WAREHOUSE Более строго определённая
Исходные данные
DATA LAKE Часто сохраняются
DATA WAREHOUSE Обычно представлены уже в обработанном виде
Основные потребители
DATA LAKE Data Engineering, Data Science, аналитика
DATA WAREHOUSE BI, аналитики, бизнес
Сильная сторона
DATA LAKE Гибкость и сохранение исходного контекста
DATA WAREHOUSE Согласованность и предсказуемость

Это обобщённое сравнение: конкретные возможности зависят от платформы и организации обработки данных.

Современные платформы стирают часть традиционных границ между Lake и Warehouse.

При выборе платформы стоит проверять, как в ней организованы хранение исходных данных, преобразования, управление схемами, контроль качества и предоставление данных аналитическим системам.

 

АРХИТЕКТУРА // DATA_LAKEHOUSE

А где здесь Data Lakehouse?

Lakehouse объединяет хранение разнообразных данных с механизмами, необходимыми для работы с аналитическими таблицами: поддержкой схем, транзакциями и управлением качеством данных.

Идея заключается в том, чтобы объединить гибкость хранения разнообразных данных с возможностями управления аналитическими наборами: поддержкой схем, транзакционными гарантиями, контролем качества, каталогизацией и согласованной работой с данными. Конкретный набор возможностей зависит от платформы и используемых форматов таблиц.

Даже при использовании Lakehouse необходимо отдельно определять правила подготовки данных и согласования бизнес-показателей.

Даже если физически компания использует одну платформу, логически всё равно остаются разные уровни:

исходные данные → очищенные данные → согласованные бизнес-модели → потребление

Поэтому вопрос «Lake или Warehouse?» иногда вообще поставлен неправильно.

ПРОЕКТИРОВАНИЕ // CORE_INFRASTRUCTURE_QUESTIONS

Гораздо полезнее спросить:

— «где в нашей архитектуре находятся исходные данные, где происходит их обработка, где определяется корпоративная бизнес-семантика и откуда получают данные конечные потребители?»

 

ИНГЕСТИЯ // DATA_INGESTION_METHODS

Откуда вообще должны поступать данные

Ещё один важный вопрос — не только где хранить данные, но и как они туда попадают.

Для разных систем могут использоваться разные механизмы:

МЕХАНИЗМЫ // INGESTION_CHANNELS
  • › пакетные выгрузки;
  • › API;
  • › CDC (Change Data Capture) — получение сведений об изменениях данных в исходной системе;
  • › очереди сообщений;
  • › потоковая обработка;
  • › файлы;
  • › специализированные коннекторы.

Выбор зависит от допустимой задержки поступления данных, объёма изменений и требований к полноте загрузки.

[ ПАКЕТНЫЙ РЕЖИМ // BATCH ]
Если финансовый отчёт обновляется раз в сутки, постоянный поток данных может быть избыточным.
[ ПОТОКОВЫЙ РЕЖИМ // STREAM ]
Если компании необходимо отслеживать состояние оборудования с небольшой задержкой, ночной пакетной загрузки может быть недостаточно. Тогда стоит рассмотреть потоковую обработку или более частую инкрементальную загрузку — выбор зависит от допустимой задержки, объёма данных и требований к оперативности реакции.

Поэтому архитектура данных начинается не с выбора хранилища.

Она начинается с требования к скорости, полноте, историчности и качеству данных.

 

ИСТОРИЧНОСТЬ // DATA_HISTORICITY

История данных — отдельная архитектурная задача

Операционная система часто показывает текущее состояние.

Клиент сейчас относится к определённому сегменту.
У товара сейчас определённая цена.
Заказ сейчас находится в определённом статусе.

Но аналитике может быть нужна история:

как это значение менялось во времени?

Это особенно важно для:

СУЩНОСТИ // HISTORICAL_ATTRIBUTES
  • › цен;
  • › клиентских сегментов;
  • › организационной структуры;
  • › статусов;
  • › договоров;
  • › тарифов;
  • › остатков;
  • › атрибутов товаров.
УТРАТА_КОНТЕКСТА // OVERWRITE_RISK

Если старое значение просто перезаписывается новым, восстановить состояние данных на прошлую дату может оказаться невозможно.

Поэтому аналитическая архитектура должна заранее определить, какие изменения необходимо сохранять исторически, с какой детализацией и по каким датам: когда изменение произошло в бизнесе и когда оно поступило в аналитическую систему.

Например, изменение договора могло произойти 10 марта, а сведения об изменении загрузились только 12 марта.

Если это различие важно для отчётности или аудита, необходимо сохранять обе даты. Иначе поздно поступившие сведения могут изменить исторический отчёт без возможности объяснить, когда именно компания получила эту информацию.

 

ВАЛИДАЦИЯ // DATA_QUALITY_MANAGEMENT

Качество данных нельзя исправить одним Warehouse

Иногда Data Warehouse воспринимают как место, куда данные попадают уже «правильными».

На практике это не так.

ОГРАНИЧЕНИЕ // NO_MAGIC_CURE

Если в CRM есть дубли клиентов, справочники ERP содержат неоднозначные значения, а источник передаёт некорректные даты, эти проблемы необходимо выявлять и обрабатывать в процессе загрузки и преобразования данных.

Нужны процессы Data Quality:

МЕТРИКИ_КАЧЕСТВА // QUALITY_CHECKS_LIST
  • › проверки обязательных полей;
  • › контроль диапазонов;
  • › обнаружение дублей;
  • › проверка ссылочной целостности;
  • › контроль полноты загрузки;
  • › отслеживание изменений схемы;
  • › мониторинг аномалий;
  • › контроль задержки поступления данных.

Причём ошибки должны не просто фиксироваться.

РЕАКЦИЯ // EXCEPTION_HANDLING

Система должна понимать, что делать с некорректной записью: отклонить, отправить в отдельный поток, принять с предупреждением или остановить загрузку.

 

БЕЗОПАСНОСТЬ // LAKE_SECURITY_GOVERNANCE

Без управления доступом Data Lake становится риском

В Data Lake потенциально может оказаться огромное количество корпоративной информации.

Причём иногда в исходном виде — включая поля, которые не нужны большинству аналитиков.

Поэтому безопасность нельзя откладывать до момента, когда появляется первый отчёт.

Нужно заранее определить:

РЕГЛАМЕНТ_БЕЗОПАСНОСТИ // GOVERNANCE_CHECKLIST
  • › какие данные являются чувствительными;
  • › кто имеет доступ к исходному слою;
  • › кто может видеть подготовленные данные;
  • › какие поля необходимо маскировать;
  • › какие наборы можно передавать внешним сервисам;
  • › как контролируется доступ к историческим данным;
  • › как фиксируются обращения к чувствительной информации.
ПРАВИЛО_РАЗГРАНИЧЕНИЯ // SEGREGATION_OF_DUTIES

Особенно важно разделять полномочия на загрузку и изменение данных, управление ими и доступ к их содержимому. Право записывать набор данных не должно автоматически давать право читать все содержащиеся в нём сведения.

Сам факт нахождения информации в корпоративном Data Lake не означает, что любой пользователь аналитического контура должен иметь доступ ко всему набору.

 

ЦЕЛЕСООБРАЗНОСТЬ // DATA_LAKE_JUSTIFICATION

Когда Data Lake действительно оправдан

Data Lake особенно полезен, когда компании приходится работать с большим разнообразием данных.

Например:

УСЛОВИЯ_ВНЕДРЕНИЯ // VALID_LAKE_SCENARIOS
  • › источников много;
  • › форматы постоянно меняются;
  • › появляются новые типы данных;
  • › нужны исторические данные;
  • › есть задачи Data Science;
  • › требуется сохранять события и логи;
  • › аналитические сценарии ещё не определены полностью;
  • › данные нужно использовать для разных будущих задач.

В такой ситуации слишком ранняя жёсткая стандартизация может ограничить развитие.

Но это не означает, что Lake автоматически нужен каждой компании.

АНТИКЕЙСЫ // EXCESSIVE_COMPLEXITY

Если у организации несколько стабильных источников, понятная отчётность и относительно простой набор аналитических задач, сложная озёрная архитектура может оказаться неоправданной.

 

ПРИМЕНИМОСТЬ // DWH_SUFFICIENCY

Когда достаточно Data Warehouse

Если основной сценарий компании — регулярная управленческая аналитика, финансовая отчётность, KPI и BI, то Warehouse может закрывать значительную часть задач без отдельного полноценного Data Lake.

Особенно если:

КРИТЕРИИ_ПРИМЕНИМОСТИ // OPTIMAL_DWH_SCENARIOS
  • › источники хорошо известны;
  • › данные структурированы;
  • › набор аналитических показателей относительно стабилен;
  • › основными потребителями являются BI и аналитики;
  • › нет большого объёма неструктурированных данных;
  • › не требуется постоянное исследование новых типов данных.

В таком случае архитектура может быть значительно проще.

Хорошая архитектура — та, которая решает необходимые задачи с оправданной сложностью.

Хорошая архитектура — та, которая решает необходимые задачи с оправданной сложностью.

 

ПРОЕКТИРОВАНИЕ // TECHNOLOGY_TRAP

Самая опасная ошибка — начать с технологии

Выбор между Data Lake, Data Warehouse, Lakehouse и конкретной платформой имеет смысл только после того, как понятны требования.

Сначала нужно ответить на другие вопросы:

СПИСОК_ВОПРОСОВ // ARCHITECTURAL_DISCOVERY
  • › Какие источники данных есть у компании?
  • › Как часто они меняются?
  • › Какой объём данных поступает?
  • › Нужна ли история?
  • › Какая допустимая задержка?
  • › Какие данные должны быть доступны в реальном времени?
  • › Кто будет потребителем?
  • › Какие правила качества необходимы?
  • › Какие данные чувствительны?
  • › Какие аналитические и ML-сценарии планируются?
  • › Какие данные нужно уметь пересчитывать задним числом?

Только после этого можно выбирать архитектуру.

КРИТИЧЕСКИЙ_СБОЙ // REVERSE_ENGINEERING_TRAP

Иначе возникает типичная ситуация:

> компания выбирает технологию, а затем пытается подогнать под неё свои процессы.

 

АРХИТЕКТУРА // MATURE_DATA_PLATFORM

Как выглядит зрелый контур данных

В зрелой архитектуре данные не просто перемещаются из одной системы в другую.

У них появляется жизненный цикл.

ИсточникиCRM / ERP / API / Сервисы / файлыIngestionCDC / API / ETL / StreamingRAWИсходные данныекачество + нормализацияCLEANСогласованные технические данныебизнес-правилаCURATED / DWHБизнес-сущности и показателиBIML

При этом вокруг всех слоёв должны существовать дополнительные механизмы:

каталог данных → управление доступом → контроль качества → мониторинг → аудит → управление жизненным циклом

Именно они превращают набор хранилищ в корпоративную платформу данных.

 

ИТОГ // ARCHITECTURAL_CONCLUSION

Чем отличаются Data Lake и Data Warehouse на практике

Форматы данных, стоимость хранения и скорость запросов важны при выборе платформы. Но сначала нужно определить, где будут храниться исходные данные, где выполняются преобразования и где фиксируются правила расчёта аналитических показателей.

ЗОНЫ_ОТВЕТСТВЕННОСТИ // LOGICAL_DIFFERENCE
Data Lake

Обеспечивает гибкое хранение разнообразных данных с сохранением исходного контекста и возможностью повторной обработки.

Data Warehouse

Обеспечивает согласованные аналитические модели, единые правила интерпретации данных и предсказуемую основу для отчётности и анализа.

Они могут существовать отдельно.

Могут быть частью одной платформы.

Могут физически использовать одну технологическую основу.

Но логически их задачи всё равно различаются.

ФУНДАМЕНТ // CORE_PIPELINE_QUESTION

И именно поэтому корпоративная архитектура данных должна начинаться не с вопроса:

— «Какое хранилище нам выбрать?»

А с другого:

— «Как данные проходят путь от источника до решения, которое на их основе принимает человек или система?»

Если этот путь спроектирован правильно, становится понятно, где нужно сохранить исходные данные, где их очистить, где согласовать бизнес-смысл, а где уже предоставить потребителю готовый набор для работы.

И тогда Data Lake и Data Warehouse перестают быть конкурирующими коробками.

ИТОГОВЫЙ_ПРИНЦИП // SYSTEM_INTEGRATION_OUTPUT
  • › Они становятся разными уровнями одной системы управления корпоративными данными.

 

НАВИГАЦИЯ // SUGGESTED_READING
 
[ Модуль // ДАННЫЕ ]

Почему одной базы данных иногда недостаточно

 
[ Модуль // ДАННЫЕ ]

Как собирать данные из разных источников

 
[ Модуль // ДАННЫЕ ]

От данных к решению: что происходит до дашборда

 
[ EXPERTISE JOURNAL ]

Все инженерные материалы и экспертные статьи

 
[ CORE GLOSSARY ]

Полный алфавитный справочник ИТ-терминов

AI Ассистент
×
ИИ может ошибаться