Что делать, если система работает, но пользователи жалуются на тормоза
Как найти настоящую причину
Сервер доступен. Почему работать с системой становится всё сложнее?
В 10:15 начальник производственного участка сообщает в ИТ-отдел: система опять тормозит. Сотрудники долго открывают карточки заказов, поиск периодически зависает, а некоторые операции приходится запускать повторно.
Администратор проверяет инфраструктуру. CPU загружен на 38%, свободной памяти достаточно, диски не заполнены. Приложение доступно, критических ошибок почти нет.
На первый взгляд ничего серьёзного не происходит.
Но у пользователей другое мнение. Ещё неделю назад карточка заказа открывалась почти мгновенно, а теперь иногда приходится ждать по пять секунд. Сотрудники теряют время, начинают повторять действия, а ИТ-отдел получает всё больше сообщений о проблеме.
Здесь важно разделить две вещи: доступность системы и её производительность.
Доступность отвечает на вопрос, может ли пользователь обратиться к сервису. Производительность — сколько времени занимает нужная операция, насколько стабильно она выполняется и как меняется её поведение под нагрузкой.
Система может успешно обрабатывать запросы, не возвращать ошибок и при этом работать неприемлемо медленно. Более того, проблема необязательно затрагивает приложение целиком. Поиск может оставаться быстрым, а открытие карточки — замедляться. Большинство запросов может выполняться нормально, но небольшая часть будет периодически задерживаться на несколько секунд.
Поэтому начинать расследование с вопроса «какой сервер перегружен?» неправильно.
Сначала нужно установить, что именно замедлилось, насколько сильно и при каких условиях. Только после этого имеет смысл искать причину.
Жалобу нужно превратить в измеряемую проблему
Фраза «всё тормозит» полезна как сигнал, но недостаточна для диагностики. Она не говорит, где возникает задержка, какие операции затронуты и можно ли воспроизвести проблему.
Предположим, пользователи жалуются на медленную работу производственной системы. При уточнении выясняется, что особенно долго открываются карточки заказов, причём преимущественно после 10:00.
Это уже позволяет сформулировать проверяемую гипотезу: возможно, задержка связана с ростом нагрузки, объёмом данных или операциями, которые начинают выполняться в это время.
Но сначала нужно измерить фактическое время ответа.
Для этого недостаточно среднего значения. Допустим, девять из десяти запросов выполняются быстро, а десятый задерживается на несколько секунд. Среднее время может выглядеть приемлемо, хотя часть сотрудников регулярно сталкивается с зависаниями.
Поэтому полезно смотреть на распределение задержек:
p50 — медианное время ответа. p95 показывает границу, быстрее которой завершаются 95% запросов, а p99 помогает оценивать самые медленные запросы при достаточном количестве наблюдений.
В нашем примере медиана почти не изменилась, но p95 и p99 резко выросли. Значит, проблема затрагивает прежде всего медленную часть запросов, а не все операции одинаково.
Это важная диагностическая подсказка, но ещё не объяснение причины. Такой рисунок может возникнуть из-за блокировок, очередей, неравномерного распределения нагрузки, медленных зависимостей или отдельных запросов, обрабатывающих значительно больше данных.
Нужно также проверить, что сравниваются одинаковые операции и сопоставимые периоды. Если утром система обрабатывала преимущественно простые заказы, а днём — сложные, рост времени ответа может объясняться изменением состава нагрузки.
В нашем случае команда фиксирует три исходных условия:
- задержки заметно усиливаются после 10:00;
- медленными становятся не все запросы;
- проблема чаще возникает при открытии карточек заказов во время интенсивной обработки данных.
Теперь можно исследовать путь конкретного запроса.
Где именно теряется время
Открытие карточки заказа кажется одной операцией, но на стороне приложения это может быть последовательность нескольких обращений.
Браузер отправляет запрос. Сервер проверяет права доступа, получает основную запись из базы данных, загружает историю изменений, обращается к связанным сервисам и формирует ответ. Затем браузер обрабатывает полученные данные и отображает карточку.
Часть этапов выполняется параллельно, часть — последовательно. Поэтому нужно измерять не только полное время ответа, но и продолжительность отдельных операций.
В нашем сценарии распределённая трассировка показывает, что основная задержка возникает во время работы с базой данных. При этом сами SQL-запросы выполняются не всегда долго: некоторые из них значительную часть времени проводят в ожидании.
Это меняет направление расследования.
Если приложение ждёт базу данных, возможны как минимум четыре разных ситуации:
- SQL действительно долго выполняется.
- Запрос ожидает освобождения блокировки.
- Приложение не может получить свободное соединение из пула.
- Соединение установлено, но операция задерживается из-за сетевого взаимодействия или другого ожидания на пути к базе данных.
Снаружи эти ситуации могут выглядеть одинаково: пользователь ждёт, а сервер приложения не показывает высокой загрузки CPU.
Но способы устранения у них разные.
Если запрос выполняет неэффективный план, нужно исследовать SQL и доступ к данным. Если запрос ждёт блокировку, необходимо найти транзакцию, которая её удерживает. Если исчерпан пул соединений, следует выяснить, почему соединения заняты и сколько времени приложение ждёт их освобождения.
Измерение общей длительности операции показывает, где проявилась задержка. Измерение отдельных этапов помогает понять, чем она вызвана.
Если трассировки пока нет, расследование всё равно можно начать: измерить время получения соединения, длительность выполнения запросов, время ожидания блокировок и обработку результатов. Важно, чтобы эти измерения относились к одной операции и одному временному интервалу.
Когда база данных медленная только на первый взгляд
Вернёмся к карточке заказа.
В 10:30 команда видит, что обращения к базе данных занимают несколько секунд. Первоначальная гипотеза — неэффективный SQL-запрос.
Это распространённая причина, особенно когда объём данных растёт, а запросы остаются прежними. Но прежде чем менять индексы и переписывать SQL, нужно выяснить, что происходит внутри базы данных в момент задержки.
В нашем условном сценарии используется PostgreSQL. Здесь полезно сопоставить длительность обращения из приложения с состоянием выполняющихся запросов, типом ожидания и информацией о блокирующих процессах.
Например, представление pg_stat_activity позволяет увидеть активные запросы, их состояние и события ожидания. Функция pg_blocking_pids() помогает определить процессы, блокирующие конкретный запрос.
Упрощённый диагностический запрос:
SELECT pid, application_name, state, wait_event_type, wait_event, now() - query_start AS query_age, pg_blocking_pids(pid) AS blocking_pids, left(query, 160) AS query_sample FROM pg_stat_activity WHERE datname = current_database() AND state = 'active' AND cardinality(pg_blocking_pids(pid)) > 0 ORDER BY query_start;
Запрос предназначен для поиска активных сессий, ожидающих блокировку. Для его выполнения нужны соответствующие права доступа; видимость подробностей чужих сессий зависит от привилегий. Кроме того, такой снимок показывает текущее состояние, а не историю уже завершившихся ожиданий.
В реальном расследовании его нужно выполнять во время проявления проблемы, а результаты сопоставлять с журналами приложения и длительностью конкретных операций.
Допустим, обнаруживаются две сессии.
Первая выполняет фоновое задание по обновлению связанных записей и удерживает блокировки в рамках продолжительной транзакции. Вторая сессия выполняет операцию изменения той же записи, что и фоновое задание, и ждёт освобождения блокировки.
Вторая сессия ждёт завершения первой.
При этом процессор может оставаться свободным: ожидание блокировки не требует постоянного выполнения вычислений. Именно поэтому загрузка CPU в 38% не противоречит тому, что пользователь ждёт несколько секунд.
Здесь важно не перепутать блокирующий запрос с тем, который просто долго работает. Медленный запрос может сам удерживать блокировки и тем самым задерживать другие операции. Но причиной ожидания может быть и транзакция, которая давно не выполняет активных вычислений, однако всё ещё удерживает необходимые блокировки.
Для PostgreSQL особенно важно учитывать открытые транзакции, в том числе находящиеся в состоянии idle in transaction, а также порядок получения блокировок и продолжительность транзакций.
В нашем сценарии причина уже конкретизирована: пользовательские операции конкурируют с фоновой обработкой за одни и те же данные.
Но обнаружить блокировку — ещё не значит завершить расследование. Следующий вопрос: почему фоновая операция удерживает её настолько долго и как изменить её работу, не нарушив согласованность данных?
Исправлять нужно причину, а не только сокращать ожидание
После анализа фонового задания выясняется, что оно обрабатывает большую группу записей внутри одной продолжительной транзакции. Пока транзакция не завершится, часть пользовательских операций вынуждена ждать освобождения конфликтующих блокировок.
На первый взгляд решение очевидно: разбить задание на более мелкие части.
Но инженерная работа начинается именно там, где заканчиваются очевидные советы.
Разделение одной транзакции на несколько транзакций меняет гарантии выполнения. Если процесс остановится посередине, часть изменений уже может быть зафиксирована, а другая часть — нет. Если бизнес-операция должна быть атомарной, такое изменение недопустимо без пересмотра логики обработки.
Поэтому сначала нужно понять, что именно гарантирует исходная транзакция.
Если каждая группа записей может обрабатываться независимо, задание можно разбить на небольшие согласованные порции. Если данные должны изменяться атомарно, потребуется другой подход: например, предварительная подготовка данных, сокращение работы внутри критической секции или изменение архитектуры обработки.
Также имеет смысл проверить порядок обновления записей. Если разные процессы захватывают одни и те же ресурсы в разной последовательности, это может приводить к взаимным блокировкам. Единый порядок доступа способен снизить риск таких ситуаций, хотя сам по себе не гарантирует отсутствия всех конфликтов.
В нашем сценарии команда сокращает продолжительность транзакции и упорядочивает обновление связанных записей. Изменение проходит проверку на корректность: при сбое процесс должен оставаться в допустимом состоянии, а повторный запуск не должен приводить к неконтролируемому дублированию операций.
Это существенно важнее, чем просто добиться красивого времени ответа. Производственная система обязана оставаться корректной даже тогда, когда обработка прерывается или запускается повторно.
Почему не стоило просто увеличить пул соединений
Это ещё одна возможная ошибка в подобной ситуации.
Если приложение не получает свободное соединение, увеличение пула иногда помогает. Но если соединения заняты запросами, ожидающими блокировки, дополнительные соединения не устранят конфликт.
Напротив, они могут позволить большему числу операций одновременно дойти до тех же заблокированных данных.
В результате вырастет количество ожидающих запросов, увеличится нагрузка на базу данных и усложнится диагностика.
Поэтому размер пула следует рассматривать вместе с временем ожидания соединений, длительностью запросов, количеством одновременных транзакций и реальной пропускной способностью базы данных.
Точно так же увеличение CPU не решит проблему, если запросы простаивают в ожидании блокировки. Масштабирование имеет смысл тогда, когда установленное ограничение действительно связано с вычислительной мощностью или другим ресурсом, который можно расширить.
Одна и та же жалоба может требовать совершенно разных исправлений. Решение определяется не симптомом, а установленной причиной.
Как доказать, что проблема действительно решена
После изменения фоновой обработки команда повторяет измерения при сопоставимой нагрузке.
В условном сценарии получены следующие результаты:
Медианное время почти не изменилось, зато задержки медленной части запросов существенно сократились. Это согласуется с исходной гипотезой: проблема затрагивала не все операции, а преимущественно те, которые ожидали освобождения блокировок.
Однако сравнить только время ответа недостаточно.
Команда также проверяет продолжительность блокировок, количество ожидающих транзакций, время выполнения фонового задания и корректность обновления данных. Нужно убедиться, что задержка не исчезла только потому, что фоновой обработке теперь требуется значительно больше времени или что нагрузка не переместилась на другой компонент.
Затем систему наблюдают при обычной рабочей нагрузке и в периоды пиковых обращений.
Если проблема не повторяется в течение одного теста, это ещё не доказывает, что она устранена. Поведение зависит от состава данных, конкурентности операций и времени запуска фоновых заданий. Для уверенного вывода необходимо проверить характерные условия, при которых инцидент возникал раньше.
Также следует поступать при любом другом исправлении. Если изменили SQL-запрос, нужно проверить план выполнения и объём обрабатываемых данных. Если увеличили ресурсы, необходимо подтвердить, что выросла пропускная способность или сократилась задержка. Если изменили сетевую конфигурацию, следует измерить именно тот участок, на котором предполагалось устранить проблему.
Исправление считается подтверждённым, когда результат соответствует исходной гипотезе, а корректность работы системы сохранена.
Чтобы следующий инцидент не пришлось расследовать вслепую
Если для каждой жалобы приходится вручную заходить на сервер, искать нужный журнал и пытаться воспроизвести ситуацию, команде не хватает наблюдаемости.
Для производственной системы важно связать три вида данных.
- Метрики показывают динамику: время ответа, частоту запросов, ошибки, загрузку ресурсов, длину очередей и ожидание соединений.
- Логи позволяют восстановить события и понять, что происходило во время конкретной операции.
- Трассировки показывают путь запроса через приложение и его зависимости, помогая локализовать задержку.
Эти данные должны быть связаны между собой. Если метрика показывает рост p95, инженер должен иметь возможность перейти к медленным операциям, сопоставить их с журналами и определить, какой компонент задерживал выполнение.
При этом не нужно собирать всё подряд. Избыточные метрики с уникальными идентификаторами, чрезмерное журналирование и сохранение каждой трассы могут существенно увеличить стоимость наблюдаемости.
Гораздо полезнее заранее определить критические пользовательские операции, установить для них целевые показатели и обеспечить достаточную детализацию для расследования отклонений.
Например, если открытие карточки заказа должно укладываться в согласованное время, нужно отслеживать не только среднее значение, но и долю запросов, которые выходят за допустимый предел. Для фонового задания важны другие характеристики: время завершения, количество обработанных записей и накопление очереди.
Такие показатели позволяют обнаруживать проблему до того, как она превратится в постоянный поток жалоб.
Последовательность, которая работает
Когда система начинает тормозить, расследование должно идти от наблюдаемого симптома к проверяемой причине.
- Зафиксировать проблему. Определить конкретную операцию, время возникновения задержек и затронутых пользователей.
- Измерить деградацию. Сравнить распределение времени ответа, частоту ошибок и характер нагрузки с нормальным состоянием системы.
- Локализовать задержку. Разобрать путь запроса и определить, на каком этапе теряется время.
- Проверить механизм. Отличить медленное выполнение от ожидания соединения, блокировки, сетевой задержки или обработки на стороне клиента.
- Сформулировать исправление. Выбрать изменение, которое устраняет установленную причину и сохраняет корректность работы.
- Подтвердить результат. Повторить измерения при сопоставимых условиях и проверить, что проблема не переместилась на другой участок.
Не всегда удаётся найти причину за один проход. Иногда первоначальная гипотеза оказывается неверной, а один инцидент включает несколько взаимосвязанных ограничений.
Это нормально. Ошибка начинается не с неверной гипотезы, а с решения, принятого без проверки.
Как понять, что серверу не хватает ресурсов
Почему после обновления система начинает работать хуже
Когда системе нужно масштабирование
Все инженерные материалы и экспертные статьи
Полный алфавитный справочник ИТ-терминов