Почему интернет-магазин медленно работает при росте каталога

 

 

 

 

У интернет-магазина есть неприятная особенность: он может годами нормально работать, пока однажды привычные операции не начинают занимать в несколько раз больше времени. Категории открываются с задержкой, фильтры реагируют не сразу, поиск периодически зависает, а отдельные карточки товаров загружаются быстрее, чем целые разделы каталога.

При этом внешне ничего критического не произошло. Сервер работает, база данных доступна, ошибок в логах немного. Товары отображаются, заказы принимаются. Но пользователи уже замечают, что магазин стал медленнее.

Часто это происходит не после какого-то одного изменения, а постепенно. Каталог вырос с 15 до 80 тысяч позиций, появились дополнительные характеристики, несколько складов, региональные цены, новые интеграции. Функциональность расширялась, а принципы обработки данных оставались практически прежними.

[ DIAGRAM : CATALOG_GROWTH_VS_PROCESSING ]
15 000 ПОЗИЦИЙФункциональность расширяласьПринципы обработки прежние80 000 ПОЗИЦИЙХарактеристики, склады, региональные ценыНовые интеграции

Именно здесь обнаруживается разница между интернет-магазином, который просто способен хранить большой каталог, и системой, которая умеет эффективно с ним работать.

Проблема заключается не столько в количестве товаров, сколько в количестве операций, необходимых для работы с каждым из них. Один товар может участвовать в нескольких фильтрах, поисковых индексах, ценовых правилах, складских остатках и связанных товарных подборках. Когда таких позиций десятки тысяч, даже небольшая неэффективность начинает умножаться на весь каталог.

Причём наиболее неприятные ограничения часто находятся не в очевидных местах. Можно заменить сервер, увеличить количество оперативной памяти и добавить процессорные ядра, но продолжать выполнять одну и ту же неэффективную операцию сотни тысяч раз.

Каталог увеличивается, но вместе с ним меняется сама стоимость пользовательского действия

Представим интернет-магазин промышленного оборудования. Изначально в нём 12 тысяч товаров, несколько категорий и ограниченный набор характеристик. Поиск работает по названию и артикулу, фильтрация выполняется по производителю и цене.

Через несколько лет ассортимент достигает 140 тысяч позиций. Теперь у товаров десятки технических параметров, различные единицы измерения, модификации, региональные цены и остатки на нескольких складах. Появились альтернативные артикулы, взаимозаменяемые позиции и дополнительные правила отображения.

12 000 ТОВАРОВ

Несколько категорий и ограниченный набор характеристик. Поиск по названию и артикулу, фильтрация по производителю и цене.

140 000 ТОВАРОВ

Десятки технических параметров, единицы измерения, модификации, региональные цены, остатки на нескольких складах, альтернативные артикулы и взаимозаменяемые позиции.

Для покупателя каталог остался каталогом. Он по-прежнему открывает категорию, выбирает производителя и указывает нужные параметры. Но для приложения это уже совершенно другая задача.

При формировании страницы необходимо определить подходящие товары, применить ограничения по доступности, получить актуальные цены, выполнить сортировку, подготовить характеристики и сформировать значения остальных фильтров. Если приложение каждый раз собирает всё это из первичных таблиц, стоимость запроса становится всё выше. Особенно если часть операций повторяется независимо друг от друга.

Здесь важно учитывать одну особенность: нагрузка растёт не всегда линейно относительно количества товаров. Добавление характеристик, комбинаций фильтров и правил сортировки может усложнять обработку значительно быстрее, чем увеличивается сам каталог.

Поэтому оценивать производительность только по количеству записей в базе бессмысленно. Гораздо важнее понимать, какие операции выполняются при открытии конкретной страницы и сколько ресурсов они потребляют.

 

База данных: когда несколько миллисекунд превращаются в серьёзную проблему

Одна из распространённых причин замедления — избыточное количество обращений к базе данных. В небольшом магазине такая проблема может оставаться практически незаметной. Но по мере увеличения каталога и количества пользователей она начинает создавать существенную нагрузку.

Возьмём страницу категории, на которой отображается 40 товаров. Приложение получает список позиций, затем отдельно запрашивает информацию о производителях, характеристиках, ценах и остатках. Если реализация неудачная, для каждого товара выполняются дополнительные запросы. Возникает проблема N+1.

[ DIAGRAM : N_PLUS_ONE_VS_BATCH_FETCHING ]
ПРОБЛЕМА N+11 запрос: ТоварыN запросовЦены, остатки...ПАКЕТНАЯ ЗАГРУЗКА / JOIN1 оптимизированный запросВсе связанные данные за один проходПри 300 пользователях N+1 создаёт десятки тысяч лишних операций

Вместо нескольких пакетных обращений система может выполнить десятки или даже сотни SQL-запросов для формирования одной страницы. При 10 посетителях это может не вызывать заметных последствий. Но при 300 одновременных пользователях количество операций резко увеличивается.

И проблема уже не только в процессоре базы данных. Соединения удерживаются дольше, увеличивается конкуренция за ресурсы, растёт время ожидания запросов.

ПРАВИЛЬНЫЙ ПОДХОД

Анализ фактических SQL-запросов. Связанные данные получаются пакетами, используются подходящие JOIN, устраняются повторные обращения и пересматривается способ работы ORM.

КРАЙНОСТЬ: ОДИН ОГРОМНЫЙ ЗАПРОС

Попытка объединить всё в один запрос. Сложные JOIN по большим таблицам, многочисленные подзапросы и вычисляемые сортировки могут оказаться не менее дорогими, чем множество небольших обращений.

Поэтому задача заключается не в минимизации количества SQL-запросов любой ценой, а в уменьшении общей стоимости получения данных.

Индексы: почему их наличие ещё не означает быструю работу

Отдельного внимания заслуживает индексация. Предположим, покупатель ищет насосы определённого производителя мощностью от 5 до 15 кВт, доступные на конкретном складе. База должна обработать несколько условий, отобрать подходящие позиции и отсортировать результат.

Если структура индексов не соответствует характеру запросов, СУБД может просматривать значительно больше записей, чем необходимо. Но добавление индекса на каждое поле тоже не является правильным решением. Индексы занимают место, требуют обслуживания и увеличивают стоимость операций записи. Для магазина, где постоянно меняются цены и остатки, это особенно важно.

[ DIAGRAM : INDEX_WRITE_OVERHEAD ]
ОБНОВЛЕНИЕ ERP30 000 товаровБАЗА ДАННЫХЗапись данныхИндекс 1Индекс 2Индекс NРост стоимости
массовых изменений

Представим, что ERP каждые несколько минут обновляет данные по 30 тысячам товаров. При большом количестве индексов стоимость массовых изменений может заметно увеличиться. Поэтому необходимо анализировать не только отдельные поля, но и реальные комбинации условий.

Например, индекс, хорошо работающий для поиска по производителю, может оказаться неэффективным для запроса с одновременной фильтрацией по категории, производителю и доступности.

ПЛАН ВЫПОЛНЕНИЯ

Использование EXPLAIN ANALYZE (в PostgreSQL) для просмотра фактического выполнения, количества обработанных строк и затрат операций.

ОЦЕНКА КАРДИНАЛЬНОСТИ

Контроль разницы между оценочным и фактическим количеством строк. Ошибки оптимизатора ведут к неудачным планам выполнения.

НЕРАВНОМЕРНОЕ РАСПРЕДЕЛЕНИЕ

Учёт того, что один производитель может занимать половину категории, а десятки других — иметь всего несколько товаров.

АЛЬТЕРНАТИВНЫЕ РЕШЕНИЯ

Иногда проблема решается не новым индексом, а обновлением статистики или изменением структуры самого запроса.

Слепое добавление индексов на каждое поле — это путь к деградации производительности при записи. Баланс между скоростью чтения и стоимостью обновления данных является ключевым фактором при проектировании схемы базы данных для растущего каталога.

 

Пагинация, которая незаметно начинает тормозить каталог

Есть ещё одна техническая деталь, которую часто упускают при развитии магазина, — способ перехода между страницами каталога. Обычная OFFSET-пагинация кажется удобной:

SQL
SELECT id, name, price
FROM products
WHERE category_id = 15
ORDER BY id
LIMIT 40 OFFSET 20000;

На небольших выборках всё работает нормально. Но чем дальше пользователь переходит по страницам, тем больше записей базе приходится пропускать перед тем, как вернуть нужный результат. При больших объёмах данных это может становиться дорогостоящей операцией.

Кроме того, при активном изменении каталога OFFSET-пагинация способна приводить к пропускам или повторному отображению товаров между страницами: пока пользователь переходит дальше, часть записей может изменить своё положение в сортировке.

[ DIAGRAM : OFFSET_VS_KEYSET_PAGINATION ]
OFFSET PAGINATIONПропуск 20 000 строк перед возвратом 40Стоимость растёт линейно с глубиной страницыKEYSET PAGINATIONВыборка от последнего ID (WHERE id > last_id)Постоянная стоимость независимо от глубиныДля бесконечной прокрутки и последовательного просмотра keyset эффективнее

Для сценариев с большими выборками применяют keyset pagination, или пагинацию по курсору. Вместо пропуска тысяч строк система продолжает выборку относительно последнего полученного значения сортировки.

Например, если товары отсортированы по идентификатору, следующий запрос может выбирать позиции с ID больше последнего показанного. Для сортировки по цене и дате создания потребуется учитывать составной ключ, чтобы обеспечить однозначный порядок.

Это решение не универсально: оно не всегда удобно для произвольного перехода на страницу 150. Но для длинных каталогов, бесконечной прокрутки и последовательного просмотра товаров часто оказывается существенно эффективнее.

Выбор между OFFSET и keyset должен основываться на реальных сценариях использования каталога, а не на предположениях о том, как пользователи будут навигировать по страницам.

Фильтры: самая дорогая часть каталога может скрываться за простым интерфейсом

Покупатель выбирает производителя, диапазон цены и несколько характеристик. Через секунду ожидает увидеть подходящие товары. Для системы это может быть одна из наиболее сложных операций. Особенно если каталог содержит десятки тысяч позиций и большое количество технических параметров.

Представим категорию промышленного оборудования с 80 тысячами товаров и 25 характеристиками. Пользователь выбирает производителя и диапазон мощности. После этого магазин должен не только показать подходящие позиции, но и пересчитать доступные значения остальных фильтров. Если в категории остались только насосы определённого производителя, система должна определить, какие варианты напряжения, диаметра подключения и производительности действительно присутствуют среди подходящих товаров. Для этого используются фасетные агрегации.

Высокая кардинальность и взрыв комбинаций

Особенно неприятная ситуация возникает с характеристиками, которые имеют большое количество уникальных значений. Например, в каталоге присутствуют:

[!] Артикулы производителей.
[!] Типоразмеры.
[!] Модели.
[!] Диаметры.
[!] Технические обозначения.
[!] Индивидуальные параметры исполнения.

Если каждое значение превращается в отдельный элемент фильтра, количество вариантов быстро растёт. Допустим, в одной категории несколько тысяч уникальных моделей. Формировать для них полноценный список фасетов при каждом запросе не всегда оправданно. Возникает проблема высокой кардинальности.

Поисковый движок должен обработать большое количество уникальных значений, выполнить агрегации и вернуть результат, который зачастую не имеет практической ценности для пользователя. Показывать покупателю несколько тысяч вариантов фильтра тоже бессмысленно.

ПРАВИЛЬНАЯ СТРАТЕГИЯ

Учитывать не только техническую возможность построения фасета, но и его полезность. Часть характеристик лучше представлять диапазонами, часть — ограниченными справочниками, а некоторые параметры вообще не стоит выводить в интерфейс фильтрации.

ОШИБКА: ВСЁ ПОДРЯД

Пересчитывать все фасеты с максимальной точностью при каждом изменении любого параметра. Это не всегда необходимо. В зависимости от назначения фильтра допустимы разные стратегии расчёта и кеширования.

Для часто используемых характеристик можно применять предварительную агрегацию или специализированные структуры данных. При этом важно учитывать распределение значений: одинаковая логика фильтрации может хорошо работать для производителя и плохо — для уникального артикула.

Почему нельзя кешировать все комбинации фильтров

Здесь возникает соблазн сохранить в Redis результаты каждого запроса. Но количество возможных комбинаций быстро становится огромным. Если посетитель может выбирать 15 производителей, 20 диапазонов мощности и несколько десятков других параметров, пространство комбинаций растёт очень быстро.

Большинство таких сочетаний никогда не будет запрошено повторно. В итоге кэш заполняется данными, которые занимают память, но практически не приносят пользы.

Разумнее анализировать статистику запросов и сохранять наиболее востребованные варианты: популярные категории, распространённые сочетания фильтров, часто используемые диапазоны. Для остальных комбинаций должна оставаться эффективная возможность расчёта без предварительного сохранения результата.

Это уже вопрос не просто кеширования, а управления стоимостью пользовательских сценариев. Архитектура фильтрации должна балансировать между скоростью ответа и полнотой доступных опций, не пытаясь кешировать всё, что теоретически может быть запрошено.

 

Поиск: почему SQL перестаёт быть достаточным инструментом

В небольшом магазине поиск по названию или артикулу можно реализовать непосредственно средствами базы данных. Но с развитием каталога требования становятся другими.

Покупатель вводит неполное название, допускает ошибку в артикуле, использует сокращение или привычное обозначение, отличающееся от официального названия производителя. Для промышленного оборудования это особенно характерно. Одна и та же позиция может фигурировать под техническим обозначением, коммерческим названием и внутренним артикулом поставщика.

[ DIAGRAM : SQL_VS_SEARCH_ENGINE_CAPABILITIES ]
ОБЫЧНЫЙ SQL (LIKE '%...%')[!] Сканирование большого количества записей[!] Нет обработки опечаток и синонимовELASTICSEARCH / OPENSEARCH[+] Полнотекстовый поиск и обработка синонимов[+] Исправление опечаток, фильтрация, фасеты

Обычный поиск по точному совпадению постепенно перестаёт справляться с такими сценариями. Запросы вида LIKE '%значение%' могут приводить к сканированию большого количества записей, поскольку обычный B-tree индекс не предназначен для эффективного поиска произвольной подстроки.

Для крупных каталогов используют специализированные поисковые движки, например Elasticsearch и OpenSearch. Они позволяют организовать полнотекстовый поиск, обработку синонимов, исправление опечаток, фильтрацию, сортировку и фасетные агрегации.

Но здесь важно не допустить архитектурной ошибки: поисковый движок не должен становиться второй независимой базой первичных товарных данных.

Основная информация остаётся в базе магазина или учётной системе. Поисковый индекс представляет собой подготовленную копию данных для быстрого поиска. Это означает, что между ними необходимо поддерживать синхронизацию.

Когда поиск показывает товар, которого уже нет

Предположим, складская система обновила остаток товара, а поисковый индекс ещё не получил соответствующее изменение. Покупатель видит доступную позицию, открывает карточку и обнаруживает отсутствие товара.

Или наоборот: товар уже снят с продажи, но поисковый индекс продолжает его выдавать. Такие ситуации возникают из-за задержек обновления индекса и неправильной организации обмена данными.

[ DIAGRAM : SEARCH_INDEX_SYNC_DELAY ]
ОСНОВНАЯ БАЗАТовар: НЕТ В НАЛИЧИИЗАДЕРЖКАПОИСКОВЫЙ ИНДЕКСТовар: В НАЛИЧИИ (Устарело)ПОЛЬЗОВАТЕЛЬ: РАЗОЧАРОВАНИЕ

Поэтому поисковая система должна учитывать допустимую задержку синхронизации, а критичные бизнес-операции должны проверять актуальное состояние товара в основном контуре.

Для обновления индекса используют пакетную обработку, очереди событий и контроль повторной доставки. Также важно учитывать порядок событий. Например, если сначала пришло обновление с новым остатком, а затем задержавшееся старое событие, система не должна случайно восстановить устаревшее значение.

ВЕРСИИ ЗАПИСЕЙ

Использование инкрементальных версий для отклонения устаревших событий обновления.

ВРЕМЕННЫЕ МЕТКИ

Сравнение временных меток события и текущего состояния индекса перед применением изменений.

ПРОВЕРКА В ОСНОВНОМ КОНТУРЕ

Критичные операции (оформление заказа) всегда проверяют актуальность в основной базе, а не в индексе.

Для этого применяют версии записей, временные метки или другие механизмы определения актуальности изменений. Без таких механизмов поисковый движок превращается из инструмента ускорения в источник противоречивой бизнес-информации.

 

Redis тоже может стать узким местом

Обычно после обнаружения проблем производительности в магазин добавляют Redis. Это логичный шаг, но само наличие быстрого хранилища в памяти не гарантирует, что нагрузка исчезнет.

Redis может эффективно обслуживать популярные кешируемые данные, но при неправильной организации доступа к ним возникают собственные проблемы.

[ DIAGRAM : REDIS_BOTTLENECKS ]
ГОРЯЧИЕ КЛЮЧИКлиент 1Клиент NОДИН ШАРД REDISНеравномерная загрузка узловCACHE STAMPEDETTL ИСТЁКМАССОВЫЕ ЗАПРОСЫ К БД

Одна из них — горячие ключи. Представим, что определённая категория составляет значительную часть трафика магазина. Большинство посетителей одновременно обращаются к одному и тому же кешируемому результату. Вместо распределённой нагрузки система фактически концентрирует обращения на ограниченном наборе ключей. В распределённом Redis-кластере это может приводить к неравномерной загрузке узлов и отдельных шардов.

Особенно важно учитывать такой сценарий при кешировании популярных категорий, главной страницы и часто используемых подборок.

Ещё одна проблема — Cache Stampede

Кэш популярной страницы истекает, и сотни запросов одновременно пытаются заново получить данные из базы. В результате система начинает выполнять множество одинаковых дорогостоящих операций.

БЛОКИРОВКИ ФОРМИРОВАНИЯ

Только один процесс получает право на пересчёт кэша, остальные ждут результата.

ПРЕДВАРИТЕЛЬНОЕ ОБНОВЛЕНИЕ

Фоновое обновление данных до того, как истечёт их актуальный TTL.

STALE-WHILE-REVALIDATE

Механизм выдачи предыдущего результата на время пересчёта, если бизнес-логика допускает небольшую задержку актуальности.

Также необходимо грамотно выбирать время жизни записей и не сбрасывать большие группы ключей при каждом изменении товара.

Слепая инвалидация всего кэша категории при обновлении одного товара — это гарантированный путь к лавинообразной нагрузке на базу данных в часы пик.

Импорт из ERP способен замедлить магазин, даже если посетителей немного

О проблемах производительности часто говорят применительно к пользовательской нагрузке. Но в крупных интернет-магазинах значительную часть ресурсов могут потреблять фоновые процессы.

Особенно это касается синхронизации с 1С, ERP и складскими системами. Допустим, в каталоге 150 тысяч товаров. Учётная система регулярно передаёт номенклатуру, цены, остатки и характеристики. Если каждое обновление обрабатывается отдельной операцией, нагрузка на базу и поисковый движок может оказаться весьма существенной. Причём даже тогда, когда фактически изменились всего несколько сотен позиций.

[ DIAGRAM : ERP_IMPORT_CONCURRENCY_ISSUES ]
ФОНОВЫЙ ИМПОРТБЛОКИРОВКИПОЛЬЗОВАТЕЛЬСКИЕ ЗАПРОСЫОЖИДАНИЕ И РОСТ ВРЕМЕНИ ОТВЕТАМассовые обновления конкурируют с пользовательскими операциями за одни и те же таблицы и индексы

Полная синхронизация каждые 15 минут — не всегда оправданная архитектура. Гораздо эффективнее передавать изменения, группировать операции и разделять данные по частоте обновления.

Но пакетная обработка тоже требует внимания. Если отправить огромный массив изменений одной транзакцией, можно получить длительные блокировки, повышенный объём WAL в PostgreSQL и существенную нагрузку на дисковую подсистему. Слишком маленькие пакеты, напротив, увеличивают количество служебных операций и накладные расходы. Размер пакета и параллельность обработчиков необходимо подбирать на основании измерений.

Блокировки при массовых обновлениях

Представим, что система одновременно обновляет цены для 40 тысяч товаров. Параллельно посетители открывают карточки, выполняют поиск и добавляют позиции в корзину. Если импорт затрагивает те же таблицы и индексы, операции могут конкурировать за блокировки и ресурсы. В результате обычные пользовательские запросы начинают ждать завершения фоновых транзакций.

Проблема может проявляться не только в длительном импорте, но и в увеличении времени ответа отдельных страниц. Поэтому массовые обновления желательно организовывать так, чтобы минимизировать время удержания блокировок. Для этого используют небольшие транзакции, пакетное применение изменений, подготовку данных до записи и раздельные контуры обработки.

ИЗОЛЯЦИЯ ПРОЦЕССОВ

Фоновые процессы выносятся в отдельные обработчики с ограниченной параллельностью и использованием очередей сообщений.

ОБСЛУЖИВАНИЕ ТАБЛИЦ

В PostgreSQL необходимо учитывать работу autovacuum и рост количества мёртвых версий строк при интенсивных обновлениях.

Если массово изменять цены и остатки, а обслуживание таблиц не справляется с накоплением таких версий, производительность может постепенно ухудшаться.

Это уже не та проблема, которую получится решить простым добавлением оперативной памяти. Она требует пересмотра архитектуры фоновых задач и стратегии управления транзакциями.

 

Внешние интеграции: почему карточка товара иногда ждёт чужой сервер

Есть ещё одна причина, по которой интернет-магазины могут медленно работать при росте ассортимента. Это синхронные обращения к внешним системам во время формирования пользовательской страницы.

Например, карточка товара обращается к ERP за ценой, к складской системе за остатком, к сервису доставки за условиями получения. Каждый сервис отвечает с собственной задержкой. Если запросы выполняются последовательно, их время суммируется.

[ DIAGRAM : SEQUENTIAL_VS_PARALLEL_EXTERNAL_CALLS ]
ПОСЛЕДОВАТЕЛЬНЫЕ ВЫЗОВЫ (1450 мс)ERP: 150 мсСклад: 400 мсДоставка: 900 мсПАРАЛЛЕЛЬНЫЕ ВЫЗОВЫ (900 мс)ERP: 150 мсСклад: 400 мсДоставка: 900 мсПри параллельном выполнении время определяется самым медленным сервисом

Допустим, три внешних сервиса отвечают за 150, 400 и 900 миллисекунд. Пользователь уже ждёт больше секунды, хотя само приложение и база данных могут работать быстро. Если один сервис начинает отвечать пять секунд, карточка задерживается на всё это время.

Поэтому отображение каталога и выполнение критичных бизнес-операций необходимо разделять. Предварительно синхронизированные данные могут использоваться для отображения товаров, цен и остатков с учётом допустимой актуальности. А перед оформлением заказа система выполняет необходимые проверки по актуальным данным.

ТАЙМ-АУТЫ И ОГРАНИЧЕНИЯ

Для внешних вызовов предусматривают тайм-ауты, ограничение параллельности, circuit breaker и корректную обработку недоступности зависимых сервисов.

ГРАЦИОЗНАЯ ДЕГРАДАЦИЯ

Важно, чтобы отказ второстепенного сервиса не превращался в отказ всего интернет-магазина. При этом нельзя просто скрыть проблему и показать покупателю заведомо неверную цену или доступность товара.

Поведение системы должно соответствовать требованиям конкретного бизнес-процесса. Отображение цены может допускать небольшую задержку актуальности, но оформление заказа с неверной ценой — это уже критическая бизнес-ошибка.

Как диагностировать проблему, если сервер не перегружен

Это, пожалуй, один из самых важных вопросов. Нередко магазин начинает тормозить, хотя показатели загрузки процессора и памяти выглядят вполне приемлемо.

Причина в том, что высокая загрузка ресурсов и высокая задержка — не одно и то же. Система может тратить значительную часть времени на ожидание соединений, блокировок, внешних API или освобождения ресурсов. Поэтому начинать диагностику нужно не с предположения о неисправном сервере, а с конкретного пользовательского сценария.

[ DIAGRAM : REQUEST_EXECUTION_TIME_BREAKDOWN ]
ОТКРЫТИЕ КАТЕГОРИИ: 3500 мсSQL250 мсПоиск400 мсОжидание соединения600 мсОбработка350 мсПрочие операции и ожидание1900 мс

Возьмём три операции: открытие категории с большим количеством товаров, поиск по артикулу с несколькими фильтрами, открытие карточки с ценой и информацией о наличии. Для каждой необходимо построить цепочку выполнения: HTTP-запрос, приложение, база данных, поисковый движок, кеш и внешние сервисы.

Для этого используют APM-системы и распределённую трассировку. Например, запрос на открытие категории может занимать 3,5 секунды. Но после анализа выясняется: выполнение SQL-запросов занимает 250 мс, получение результатов из поискового движка — 400 мс, ожидание свободного соединения — 600 мс, обработка связанных данных — 350 мс, остальное время приходится на дополнительные операции и ожидание. Теперь понятно, что проблема не сводится к одному медленному SQL-запросу.

Почему среднее время ответа ничего не гарантирует

Допустим, среднее время ответа магазина составляет 400 мс. На первый взгляд всё хорошо. Но 95% запросов могут выполняться за 300 мс, а оставшиеся 5% — занимать по 5–8 секунд. Для части покупателей магазин фактически работает очень медленно.

Поэтому необходимо контролировать перцентили:

P50

Медианное время ответа. Базовый ориентир производительности.

P95

Время, быстрее которого выполняются 95% запросов. Реальный опыт значительной части пользователей.

P99

Позволяет увидеть наиболее медленные сценарии, которые почти не видны в средних показателях.

Особенно важно отслеживать их отдельно для поиска, категорий, карточек товаров и оформления заказа. Также нужно измерять пропускную способность системы и количество ошибок при нагрузке.

ТОЧКА НАСЫЩЕНИЯ

Один из полезных показателей — точка насыщения, после которой увеличение количества запросов начинает непропорционально увеличивать задержки.

Например, магазин может нормально обрабатывать 200 запросов в секунду, но при 300 запросах время ответа резко возрастает из-за очередей и конкуренции за ресурсы. Это гораздо важнее, чем просто знать максимальную загрузку процессора.

 

Разберём реальную инженерную логику на условном проекте

Представим интернет-магазин оборудования с каталогом из 120 тысяч позиций. Подключены две складские системы, ERP передаёт цены и характеристики, поисковый движок обслуживает фильтрацию, а Redis используется для кеширования категорий.

Во время обычной работы всё выглядит нормально. Но при рекламной кампании количество одновременных пользователей увеличивается, и магазин начинает отвечать с задержками. Команда предполагает, что инфраструктура не справляется. Однако перед увеличением серверных ресурсов решают изучить трассировки наиболее медленных запросов.

[ DIAGRAM : FIVE_ENGINEERING_DISCOVERIES ]
01 / N+1 ЗАПРОСЫ02 / ФАСЕТЫ03 / ERP ИМПОРТ04 / CACHE STAMPEDE05 / OFFSET ПАГИНАЦИЯИСПРАВЛЕНИЕ ПО ПРИЧИНЕ, А НЕ ПО СИМПТОМУКаждое изменение связано с обнаруженной причиной деградации
01 / ПОВТОРНЫЕ SQL-ЗАПРОСЫ

Категории выполняют слишком много повторных SQL-запросов. После исправления N+1 и пересмотра загрузки связанных данных количество обращений к базе существенно сокращается.

02 / СЛОЖНЫЕ ФАСЕТЫ

Сложные фасетные агрегации обрабатывают характеристики с большим количеством уникальных значений. Часть фильтров пересматривают, для некоторых используют диапазоны и предварительную агрегацию.

03 / ИМПОРТ ИЗ ERP

Импорт из ERP выполняет массовые обновления и конкурирует с пользовательскими запросами. Обработку переводят на пакетную модель с ограниченной параллельностью.

04 / CACHE STAMPEDE

При истечении кеша популярной категории множество запросов одновременно инициируют пересчёт. Добавляют управляемое обновление и защиту от Cache Stampede.

05 / OFFSET-ПАГИНАЦИЯ

При последовательном переходе по страницам глубокая OFFSET-пагинация создаёт лишнюю нагрузку. Для основных сценариев просмотра внедряют keyset pagination. И только после устранения этих ограничений становится понятно, какие компоненты действительно нуждаются в масштабировании.

Здесь важно, что команда не начинала с внедрения микросервисов, замены СУБД или увеличения количества серверов. Каждое изменение было связано с обнаруженной причиной деградации.

Это принципиальная разница между оптимизацией по измерениям и попыткой лечить симптомы архитектурными решениями наугад.

Когда оптимизации уже недостаточно и требуется менять архитектуру

Не каждый крупный каталог требует распределённой системы. Иногда хорошо оптимизированное монолитное приложение способно обслуживать весьма значительные объёмы данных и пользователей.

Но существуют ситуации, когда разделение нагрузки становится оправданным. Например, поисковая система одновременно обслуживает сложные пользовательские запросы и получает большое количество обновлений от ERP. В этом случае необходимо разделить приоритеты чтения и записи, оптимизировать очереди и, возможно, выделить отдельные ресурсы для обработки индекса.

БАЛАНСИРОВКА НАГРУЗКИ

Распределение трафика между экземплярами приложения.

ФОНОВЫЕ ОБРАБОТЧИКИ

Отдельные обработчики фоновых задач и импорта.

ПОИСКОВЫЙ КЛАСТЕР

Специализированный кластер Elasticsearch или OpenSearch.

REDIS

Распределённый кеш для популярных данных.

РЕПЛИКИ БД

Реплики базы данных для подходящих операций чтения.

ОЧЕРЕДИ СООБЩЕНИЙ

Асинхронный обмен между компонентами системы.

НЕЗАВИСИМЫЕ КОНТУРЫ АНАЛИТИКИ

Вынос аналитической нагрузки в отдельный контур, чтобы тяжёлые отчёты не мешали пользовательским операциям.

Однако каждая дополнительная система увеличивает сложность эксплуатации. Репликация, например, не гарантирует мгновенной актуальности данных. Между основной базой и репликой возможна задержка. Поэтому критичные операции, требующие чтения только что записанных данных, необходимо направлять с учётом требований согласованности.

МИКРОСЕРВИСЫ НЕ ЯВЛЯЮТСЯ АВТОМАТИЧЕСКИМ РЕШЕНИЕМ

Микросервисная архитектура также не является автоматическим способом ускорения. Она может изолировать нагрузку и упростить масштабирование отдельных компонентов, но одновременно добавляет сетевые взаимодействия, распределённые ошибки и необходимость согласовывать данные между сервисами.

Если проблема находится в неэффективном запросе или неудачной структуре каталога, переход на микросервисы способен лишь усложнить систему. Масштабировать нужно не модную архитектуру, а конкретную операцию, которая перестала укладываться в требования проекта.

 

Нагрузочное тестирование: почему тест на тысяче товаров не показывает реальную картину

Есть распространённая ошибка при проверке производительности: тестировать магазин на небольшой тестовой базе, где товары имеют одинаковую структуру и почти не отличаются друг от друга.

Такие тесты могут показывать отличные результаты, но плохо отражать поведение производственного каталога. В реальной системе распределение данных неравномерное. У одной категории может быть 60 тысяч товаров, у другой — несколько десятков. У одного производителя тысячи позиций, у другого — две. Некоторые характеристики имеют всего несколько значений, другие — десятки тысяч уникальных вариантов.

[ DIAGRAM : UNREALISTIC_VS_REALISTIC_LOAD_TEST ]
ТЕСТОВАЯ БАЗА (1000 ТОВАРОВ)ОДИНАКОВАЯ СТРУКТУРАРавномерное распределение, нет уникальных значенийРезультат: Отличный, но не отражает реальностьПРОДАКШН-БАЗА (150 000 ТОВАРОВ)НЕРАВНОМЕРНОЕ РАСПРЕДЕЛЕНИЕКатегории 10-60 000, высокая кардинальностьРезультат: Реальная картина производительности

Поэтому нагрузочное тестирование должно воспроизводить не только количество записей, но и структуру каталога. Особенно важно проверять:

РАЗНЫЕ КАТЕГОРИИ

Популярные и малопосещаемые категории с разной плотностью товаров.

ГЛУБОКАЯ ПАГИНАЦИЯ

Переход на страницы 100+ с большим количеством товаров.

СЛОЖНЫЕ ФИЛЬТРЫ

Комбинации фильтров с высокой кардинальностью значений.

ПОИСК ПО АРТИКУЛУ

Поиск по артикулу и неполному названию товара.

МАССОВЫЕ ОБНОВЛЕНИЯ

Одновременная работа пользователей и фоновых обработчиков при обновлении цен и остатков.

НЕДОСТУПНОСТЬ СЕРВИСОВ

Поведение системы при недоступности внешних сервисов.

ПИКОВЫЕ СЦЕНАРИИ

Во время распродажи посетители могут одновременно открывать одни и те же популярные категории. Это совершенно другая нагрузка, чем равномерное распределение запросов по всему каталогу. Именно такие сценарии позволяют обнаружить горячие ключи кеша, очереди, проблемы с соединениями и резкое увеличение времени ответа.

Нужно тестировать не только максимальную нагрузку, но и поведение после её снижения. Некоторые проблемы проявляются именно при восстановлении системы: накопленные очереди начинают обрабатываться одновременно, кеш массово перестраивается, а поисковый индекс получает большую порцию изменений.

Хорошая система должна не просто выдерживать пик, но и возвращаться к нормальному режиму без длительной деградации. Если после снижения нагрузки магазин продолжает тормозить ещё час — это признак архитектурной проблемы, а не временного сбоя.

Производительность каталога — это результат согласованной работы всей системы

Когда интернет-магазин начинает тормозить при росте ассортимента, редко существует одна универсальная причина. Иногда проблема находится в базе данных, иногда в поисковом движке, иногда в механизме кеширования или фоновой синхронизации. Нередко несколько небольших недостатков одновременно создают эффект, который невозможно устранить настройкой одного компонента.

Поэтому производительность необходимо рассматривать сквозным образом. Товар поступает из учётной системы, обрабатывается приложением, сохраняется в основной базе, попадает в поисковый индекс, участвует в фильтрации и кешируется для последующего отображения. Затем пользователь открывает карточку, а система должна предоставить ему актуальные данные без лишних обращений и длительных ожиданий.

[ DIAGRAM : END_TO_END_PRODUCT_JOURNEY ]
ERP / 1СПРИЛОЖЕНИЕБАЗА ДАННЫХПОИСКОВИКREDISUSERНа каждом этапе есть собственные ограничения и точки отказа

На каждом этапе есть собственные ограничения. Именно поэтому увеличение каталога должно сопровождаться не только расширением функциональности, но и пересмотром способов обработки данных.

ДЛЯ ОДНОЙ СИСТЕМЫ

Оптимизация SQL-запросов и индексов.

ДЛЯ ДРУГОЙ

Изменение логики фильтрации и фасетов.

ДЛЯ ТРЕТЬЕЙ

Разделение фоновых и пользовательских операций.

ДЛЯ ЧЕТВЁРТОЙ

Переход к более сложной архитектуре хранения и обработки информации.

Главное — не путать масштабирование с простым увеличением ресурсов. Быстрый интернет-магазин — это не тот, у которого самый мощный сервер или больше всего технологий в архитектуре.

Это система, в которой рост количества товаров и пользователей не заставляет каждый раз выполнять всё больше ненужной работы. Именно способность сохранять предсказуемое время ответа при изменении нагрузки отличает архитектуру, рассчитанную на развитие, от решения, которое хорошо работает только до следующего существенного увеличения каталога.

 

НАВИГАЦИЯ // SUGGESTED_READING
 
[ Модуль // ИНТЕГРАЦИИ ]

API, Webhook или очередь сообщений?

 
[ Модуль // 1С / CRM ]

1С, CRM и сайт: как системы обмениваются данными

 
[ Модуль // ИНТЕГРАЦИИ ]

Когда API есть, а интеграция всё равно не работает

 
[ EXPERTISE JOURNAL ]

Все инженерные материалы и экспертные статьи

 
[ CORE GLOSSARY ]

Полный алфавитный справочник ИТ-терминов

 

AI Ассистент
×
ИИ может ошибаться