DATA LAKE И DATA WAREHOUSE: в чём разница
Data Lake или Data Warehouse?
В корпоративной инфраструктуре данные редко живут в одном месте.
Операционные системы хранят заказы, клиентов, платежи, остатки и документы. CRM содержит историю взаимодействия с клиентами. ERP отвечает за финансовый и производственный контур. Интернет-магазин собирает события пользователей. Сервисы создают логи и технические события. Внешние системы передают дополнительные данные.
Пока каждый источник решает собственную операционную задачу, это нормально.
Проблема начинается тогда, когда компании нужно ответить на вопросы, которые проходят сразу через несколько систем:
- › сколько реально заработали на определённой группе клиентов;
- › как менялась маржинальность по периодам;
- › какой канал приводит наиболее ценных клиентов;
- › почему выросло время обработки заказов;
- › где возникают потери между продажей и отгрузкой;
- › как операционные показатели связаны с финансовыми.
Для этого данные приходится собирать в отдельный аналитический контур.
И здесь появляются два понятия, которые часто используют как взаимозаменяемые: Data Lake и Data Warehouse. На самом деле это разные подходы к работе с данными.
Ориентирован на хранение разнообразных данных с сохранением исходного контекста и возможностью последующей обработки для разных задач.
Ориентирован на согласованные аналитические модели и данные, подготовленные для предсказуемого использования в отчётности и анализе.
Разница не сводится к тому, что одно хранилище «для сырых данных», а другое «для готовых». Вопрос глубже: на каком этапе и в каком виде компания фиксирует структуру, качество и смысл своих данных.
Сначала нужно разделить операционные и аналитические данные
Операционная база не всегда подходит для тяжёлой аналитики: запросы по большим объёмам исторических данных могут конкурировать с транзакциями за вычислительные ресурсы.
Допустим, ERP используется для оформления заказов. Для неё важно быстро создать заказ, изменить его статус, провести документ, проверить остаток, записать платёж. Это операционная нагрузка.
А теперь представим, что аналитик запускает запрос по нескольким годам истории, объединяя заказы, клиентов, товары, платежи и возвраты. Такой запрос читает большие объёмы данных и выполняет ресурсоёмкие соединения и агрегации.
Если постоянно выполнять подобные запросы непосредственно в операционной базе, аналитика начинает конкурировать с бизнес-приложением за те же ресурсы.
> Поэтому аналитическую нагрузку часто выносят в отдельный контур, чтобы она меньше влияла на работу операционных систем.
Это разделение позволяет не заставлять операционную систему одновременно служить базой для транзакций, аналитическим хранилищем, архивом и источником данных для машинного обучения.
Что такое Data Lake
Data Lake — это архитектурный подход к хранению разнообразных данных в централизованном или логически едином хранилище. Данные могут сохраняться в исходном или близком к исходному виде, а их структура и правила преобразования определяются по мере подготовки к конкретным сценариям использования.
Туда могут попадать:
- › таблицы из корпоративных систем;
- › выгрузки из CRM и ERP;
- › события приложений;
- › логи;
- › JSON и XML;
- › документы;
- › данные из API;
- › файлы;
- › телеметрия;
- › исторические снимки;
- › результаты работы других систем.
Главная особенность — данные не обязательно приводятся к единой аналитической модели до момента загрузки.
Можно сохранить источник практически в исходном виде, а преобразование выполнить позже, когда появится конкретная задача.
- › В классическом Data Warehouse структуру целевой модели обычно определяют до загрузки данных, а в Data Lake данные можно сохранить до того, как определены все способы их дальнейшего использования.
Зачем вообще хранить данные в сыром виде
На первый взгляд возникает логичный вопрос:
При очистке, объединении и агрегации данных часть исходной информации может теряться. Если позднее изменятся правила расчёта показателя, восстановить его по уже обработанным данным удастся не всегда.
Когда данные сразу очищают, объединяют, агрегируют и приводят к единой модели, часть исходного контекста может исчезнуть.
Например, сегодня бизнес считает клиента по одному правилу. Через год методика изменяется.
> Если сохранился только итоговый показатель, пересчитать историю по новой логике может оказаться невозможно.
> Если же сохранены исходные данные, их можно обработать заново.
Поэтому сырой слой служит опорой для повторной обработки данных: он позволяет вернуться к сохранённому представлению исходной информации и построить новые производные наборы. При этом источником достоверных операционных данных по-прежнему может оставаться исходная система — например, ERP или CRM.
Например, компания изменила правила определения активного клиента. Если сохранились только итоговые показатели, пересчитать историю по новым правилам может оказаться невозможно: исходные события и атрибуты уже потеряны.
Для повторной обработки важно сохранять не только исходные значения, но и сведения об источнике, времени загрузки и версии схемы. Если данные меняются со временем, нужно также определить, какие версии сохраняются и как восстанавливается состояние на выбранную дату.
При этом повторный расчёт не всегда означает восстановление абсолютно точного прошлого: если источник исправил старые записи или удалил сведения, это тоже необходимо учитывать.
Для повторной обработки исходные данные нужно не только сохранять, но и сопровождать метаданными и правилами хранения.
«Сырое» не должно означать «бесконтрольное».
Если данные не каталогизируются, у наборов нет ответственных владельцев, а качество и доступ не контролируются, находить и безопасно использовать их становится всё сложнее. Такое состояние называют Data Swamp — болотом данных.
Data Lake — это не просто большая папка
Такое представление встречается довольно часто:
Нет.
Само хранилище не создаёт архитектуру Data Lake.
Нужны как минимум понятные правила:
- › откуда поступают данные;
- › в каком виде они сохраняются;
- › как идентифицируется источник;
- › какая версия данных актуальна;
- › как отслеживается время загрузки;
- › кто является владельцем набора;
- › какие данные считаются чувствительными;
- › кто имеет к ним доступ;
- › как контролируется качество;
- › каковы сроки хранения конкретного набора и условия его удаления или архивирования;
- › как обнаруживаются изменения схемы;
- › каким образом данные переходят из сырого состояния в подготовленное.
> Без этих механизмов озеро быстро превращается в хранилище, где данные формально существуют, но использовать их становится всё сложнее.
Что такое Data Warehouse
Data Warehouse решает другую задачу.
Здесь данные приводятся к согласованным структурам и бизнес-правилам, необходимым для аналитики и отчётности. Подготовка может происходить как до загрузки в целевую модель, так и в процессе последующих преобразований — это зависит от архитектуры хранилища.
Информация из разных источников должна быть приведена к согласованному виду.
Например, в одной системе клиент идентифицируется по customer_id, в другой — по номеру договора, а в третьей вообще хранится только адрес электронной почты.
Для аналитики недостаточно просто сложить эти три набора рядом.
Нужно определить, как они связаны, какие идентификаторы считаются основными, как обрабатываются дубли и какие правила используются для формирования единой сущности клиента.
То же самое происходит с товарами, подразделениями, заказами, датами, валютами и другими бизнес-сущностями.
Поэтому Data Warehouse — это не просто место хранения.
Это ещё и слой согласования корпоративных данных.
В Warehouse структура появляется раньше запроса
Одна из классических характеристик Data Warehouse — подход schema-on-write.
Упрощённо это означает:
Структура целевой модели и правила обработки определяются до загрузки данных в неё → данные преобразуются и загружаются → аналитические запросы используют подготовленную модель.
Данные сохраняются без обязательного предварительного приведения к единой аналитической модели → структура и преобразования определяются при подготовке данных для конкретной задачи.
Это не означает, что в Data Lake структуры нет вообще.
Она есть, но часто применяется позже и может отличаться для разных сценариев использования.
Разница именно в том, когда принимается решение о структуре и правилах представления данных.
Почему нельзя просто выбрать что-то одно
Потому что у этих подходов разные задачи.
Представим, что компания получает данные из десяти источников. Часть источников имеет стабильную структуру, часть меняется. Одни данные нужны для регулярной финансовой отчётности, другие используются исследовательской командой, третьи понадобятся для обучения моделей машинного обучения.
Если заранее привести все данные к единой модели, новые источники и сценарии использования могут потребовать дополнительных преобразований или изменения существующей модели.
Если всё хранить исключительно в исходном виде, аналитикам придётся постоянно самостоятельно разбираться в источниках, качестве и бизнес-логике.
Поэтому на практике часто появляется многоуровневая архитектура.
Названия слоёв зависят от архитектуры. Важнее то, какие преобразования выполняются на каждом этапе:
по мере подготовки данных их очищают, связывают между собой и приводят к правилам, необходимым для конкретных аналитических задач.
Что имеет смысл хранить в сыром виде
В Raw-слое обычно имеет смысл сохранять данные максимально близко к источнику.
Например, пришёл пакет данных из ERP — его можно сохранить с информацией о времени загрузки и источнике, не пытаясь сразу превратить его в идеальную аналитическую модель.
Это даёт несколько преимуществ.
- › Можно повторить обработку:
Если логика трансформации изменилась, данные можно обработать заново. - › Можно расследовать ошибки:
Если итоговый показатель выглядит неправильно, можно вернуться к исходному набору данных и определить, на каком этапе возникло расхождение. - › Можно использовать данные для новых задач:
Сегодня набор нужен для BI, завтра его можно использовать для аналитической модели или машинного обучения. - › Можно отделить загрузку от преобразования:
Система сначала надёжно принимает данные, а затем обрабатывает их независимо.
Это особенно важно при больших объёмах и сложных интеграциях.
Но сырые данные нельзя бесконечно тащить в аналитику
Подготовленные слои нужны, чтобы аналитики использовали согласованные данные и общие правила расчёта показателей, а не повторяли одни и те же преобразования в каждом отчёте.
Бизнес-аналитик не должен каждый раз самостоятельно выяснять:
- › какой источник считается главным;
- › почему в одном наборе пять статусов заказа, а в другом семь;
- › как считать выручку;
- › как связывать клиентов между системами;
- › какие заказы считаются отменёнными;
- › как учитывать возвраты;
- › какой курс валюты использовать.
Если каждый отчёт использует собственные правила обработки и расчёта, значения одних и тех же показателей могут различаться.
И все три расчёта формально могут быть правильными относительно своих правил.
Например, один отчёт учитывает возвраты, другой исключает их; один использует дату оплаты, другой — дату отгрузки. Оба могут выполнять запросы без технических ошибок, но отвечать на разные бизнес-вопросы.
Поэтому для каждого ключевого показателя нужно зафиксировать определение, источник данных, правила обработки исключений и период расчёта. Эти правила должны быть доступны аналитикам и одинаково применяться в отчётах, которые предназначены для сравнения.
Причина расхождения может быть не в запросах, а в разных определениях показателей и правилах обработки данных.
> Чтобы результаты совпадали, необходимо согласовать определения показателей, правила учёта возвратов и отмен, источники данных и порядок обработки исключений.
Именно здесь Data Warehouse особенно ценен: он позволяет закрепить общие правила расчёта показателей, согласовать бизнес-сущности и повторно использовать подготовленные данные в разных отчётах. Однако единая интерпретация возникает только при наличии согласованных определений, правил преобразования и контроля качества.
Warehouse нужен не только ради скорости запросов
Аналитическое хранилище нужно не только для ускорения запросов. Оно также позволяет согласовать определения показателей и правила объединения данных из разных источников.
Например, для показателя активный клиент необходимо определить, какие действия и за какой период учитываются. Если разные отчёты используют разные критерии, результаты будут различаться даже при работе с одними и теми же данными.
Допустим, в компании существует понятие «активный клиент». Если его определение находится только в головах аналитиков, каждый отчёт может трактовать его по-разному. Определение фиксируют в документации и реализуют в модели данных или общем механизме расчёта, чтобы разные отчёты использовали одинаковые критерии.
То же касается:
- › выручки;
- › маржи;
- › активного заказа;
- › нового клиента;
- › возврата;
- › конверсии;
- › отгруженного заказа;
- › просроченной задолженности.
В Warehouse данные из разных систем приводятся к согласованным бизнес-сущностям и показателям, которые можно повторно использовать в отчётах.
Data Lake и Data Warehouse решают разные проблемы
Их можно сравнить не как «старую и новую технологию», а как два разных слоя ответственности.
Это обобщённое сравнение: конкретные возможности зависят от платформы и организации обработки данных.
Современные платформы стирают часть традиционных границ между Lake и Warehouse.
При выборе платформы стоит проверять, как в ней организованы хранение исходных данных, преобразования, управление схемами, контроль качества и предоставление данных аналитическим системам.
А где здесь Data Lakehouse?
Lakehouse объединяет хранение разнообразных данных с механизмами, необходимыми для работы с аналитическими таблицами: поддержкой схем, транзакциями и управлением качеством данных.
Идея заключается в том, чтобы объединить гибкость хранения разнообразных данных с возможностями управления аналитическими наборами: поддержкой схем, транзакционными гарантиями, контролем качества, каталогизацией и согласованной работой с данными. Конкретный набор возможностей зависит от платформы и используемых форматов таблиц.
Даже при использовании Lakehouse необходимо отдельно определять правила подготовки данных и согласования бизнес-показателей.
Даже если физически компания использует одну платформу, логически всё равно остаются разные уровни:
Поэтому вопрос «Lake или Warehouse?» иногда вообще поставлен неправильно.
Гораздо полезнее спросить:
— «где в нашей архитектуре находятся исходные данные, где происходит их обработка, где определяется корпоративная бизнес-семантика и откуда получают данные конечные потребители?»
Откуда вообще должны поступать данные
Ещё один важный вопрос — не только где хранить данные, но и как они туда попадают.
Для разных систем могут использоваться разные механизмы:
- › пакетные выгрузки;
- › API;
- › CDC (Change Data Capture) — получение сведений об изменениях данных в исходной системе;
- › очереди сообщений;
- › потоковая обработка;
- › файлы;
- › специализированные коннекторы.
Выбор зависит от допустимой задержки поступления данных, объёма изменений и требований к полноте загрузки.
Поэтому архитектура данных начинается не с выбора хранилища.
Она начинается с требования к скорости, полноте, историчности и качеству данных.
История данных — отдельная архитектурная задача
Операционная система часто показывает текущее состояние.
У товара сейчас определённая цена.
Заказ сейчас находится в определённом статусе.
Но аналитике может быть нужна история:
как это значение менялось во времени?
Это особенно важно для:
- › цен;
- › клиентских сегментов;
- › организационной структуры;
- › статусов;
- › договоров;
- › тарифов;
- › остатков;
- › атрибутов товаров.
Если старое значение просто перезаписывается новым, восстановить состояние данных на прошлую дату может оказаться невозможно.
Поэтому аналитическая архитектура должна заранее определить, какие изменения необходимо сохранять исторически, с какой детализацией и по каким датам: когда изменение произошло в бизнесе и когда оно поступило в аналитическую систему.
Например, изменение договора могло произойти 10 марта, а сведения об изменении загрузились только 12 марта.
Если это различие важно для отчётности или аудита, необходимо сохранять обе даты. Иначе поздно поступившие сведения могут изменить исторический отчёт без возможности объяснить, когда именно компания получила эту информацию.
Качество данных нельзя исправить одним Warehouse
Иногда Data Warehouse воспринимают как место, куда данные попадают уже «правильными».
На практике это не так.
Если в CRM есть дубли клиентов, справочники ERP содержат неоднозначные значения, а источник передаёт некорректные даты, эти проблемы необходимо выявлять и обрабатывать в процессе загрузки и преобразования данных.
Нужны процессы Data Quality:
- › проверки обязательных полей;
- › контроль диапазонов;
- › обнаружение дублей;
- › проверка ссылочной целостности;
- › контроль полноты загрузки;
- › отслеживание изменений схемы;
- › мониторинг аномалий;
- › контроль задержки поступления данных.
Причём ошибки должны не просто фиксироваться.
Система должна понимать, что делать с некорректной записью: отклонить, отправить в отдельный поток, принять с предупреждением или остановить загрузку.
Без управления доступом Data Lake становится риском
В Data Lake потенциально может оказаться огромное количество корпоративной информации.
Причём иногда в исходном виде — включая поля, которые не нужны большинству аналитиков.
Поэтому безопасность нельзя откладывать до момента, когда появляется первый отчёт.
Нужно заранее определить:
- › какие данные являются чувствительными;
- › кто имеет доступ к исходному слою;
- › кто может видеть подготовленные данные;
- › какие поля необходимо маскировать;
- › какие наборы можно передавать внешним сервисам;
- › как контролируется доступ к историческим данным;
- › как фиксируются обращения к чувствительной информации.
Особенно важно разделять полномочия на загрузку и изменение данных, управление ими и доступ к их содержимому. Право записывать набор данных не должно автоматически давать право читать все содержащиеся в нём сведения.
Сам факт нахождения информации в корпоративном Data Lake не означает, что любой пользователь аналитического контура должен иметь доступ ко всему набору.
Когда Data Lake действительно оправдан
Data Lake особенно полезен, когда компании приходится работать с большим разнообразием данных.
Например:
- › источников много;
- › форматы постоянно меняются;
- › появляются новые типы данных;
- › нужны исторические данные;
- › есть задачи Data Science;
- › требуется сохранять события и логи;
- › аналитические сценарии ещё не определены полностью;
- › данные нужно использовать для разных будущих задач.
В такой ситуации слишком ранняя жёсткая стандартизация может ограничить развитие.
Но это не означает, что Lake автоматически нужен каждой компании.
Если у организации несколько стабильных источников, понятная отчётность и относительно простой набор аналитических задач, сложная озёрная архитектура может оказаться неоправданной.
Когда достаточно Data Warehouse
Если основной сценарий компании — регулярная управленческая аналитика, финансовая отчётность, KPI и BI, то Warehouse может закрывать значительную часть задач без отдельного полноценного Data Lake.
Особенно если:
- › источники хорошо известны;
- › данные структурированы;
- › набор аналитических показателей относительно стабилен;
- › основными потребителями являются BI и аналитики;
- › нет большого объёма неструктурированных данных;
- › не требуется постоянное исследование новых типов данных.
В таком случае архитектура может быть значительно проще.
Хорошая архитектура — та, которая решает необходимые задачи с оправданной сложностью.
Хорошая архитектура — та, которая решает необходимые задачи с оправданной сложностью.
Самая опасная ошибка — начать с технологии
Выбор между Data Lake, Data Warehouse, Lakehouse и конкретной платформой имеет смысл только после того, как понятны требования.
Сначала нужно ответить на другие вопросы:
- › Какие источники данных есть у компании?
- › Как часто они меняются?
- › Какой объём данных поступает?
- › Нужна ли история?
- › Какая допустимая задержка?
- › Какие данные должны быть доступны в реальном времени?
- › Кто будет потребителем?
- › Какие правила качества необходимы?
- › Какие данные чувствительны?
- › Какие аналитические и ML-сценарии планируются?
- › Какие данные нужно уметь пересчитывать задним числом?
Только после этого можно выбирать архитектуру.
Иначе возникает типичная ситуация:
> компания выбирает технологию, а затем пытается подогнать под неё свои процессы.
Как выглядит зрелый контур данных
В зрелой архитектуре данные не просто перемещаются из одной системы в другую.
У них появляется жизненный цикл.
При этом вокруг всех слоёв должны существовать дополнительные механизмы:
Именно они превращают набор хранилищ в корпоративную платформу данных.
Чем отличаются Data Lake и Data Warehouse на практике
Форматы данных, стоимость хранения и скорость запросов важны при выборе платформы. Но сначала нужно определить, где будут храниться исходные данные, где выполняются преобразования и где фиксируются правила расчёта аналитических показателей.
Обеспечивает гибкое хранение разнообразных данных с сохранением исходного контекста и возможностью повторной обработки.
Обеспечивает согласованные аналитические модели, единые правила интерпретации данных и предсказуемую основу для отчётности и анализа.
Они могут существовать отдельно.
Могут быть частью одной платформы.
Могут физически использовать одну технологическую основу.
Но логически их задачи всё равно различаются.
И именно поэтому корпоративная архитектура данных должна начинаться не с вопроса:
— «Какое хранилище нам выбрать?»
А с другого:
— «Как данные проходят путь от источника до решения, которое на их основе принимает человек или система?»
Если этот путь спроектирован правильно, становится понятно, где нужно сохранить исходные данные, где их очистить, где согласовать бизнес-смысл, а где уже предоставить потребителю готовый набор для работы.
И тогда Data Lake и Data Warehouse перестают быть конкурирующими коробками.
- › Они становятся разными уровнями одной системы управления корпоративными данными.
Почему одной базы данных иногда недостаточно
Как собирать данные из разных источников
От данных к решению: что происходит до дашборда
Все инженерные материалы и экспертные статьи
Полный алфавитный справочник ИТ-терминов