Как организовать стабильный доступ к удалённым серверам, если падает магистральный провайдер
Отказоустойчивость корпоративной сети при сбое бэкбона
Отказ магистрального провайдера — это не просто потеря интернета. Для компании, работающей с ERP, CRM, базами данных, внутренними API и корпоративными веб-приложениями, это риск остановки целых бизнес-процессов. При этом серверы могут оставаться доступными, базы данных — работать, а прикладные службы — обрабатывать запросы. Нарушается другое звено: сетевой путь, по которому пользователи должны добраться до этих ресурсов.
Распространённая ошибка при проектировании отказоустойчивости — считать, что второй интернет-канал автоматически решает проблему. На практике резервный канал может включиться, но VPN останется недоступен из-за смены внешнего IP-адреса. Туннель может установиться, но корпоративная подсеть окажется недостижима из-за отсутствующего маршрута. Сетевой обмен может восстановиться, но действующие соединения с приложением завершатся ошибкой, а пользователям придётся повторно авторизоваться.
Поэтому задача состоит не в том, чтобы обеспечить наличие запасного подключения, а в том, чтобы спроектировать и проверить альтернативный путь до конкретного корпоративного сервиса.
В этой статье разберём архитектуру такого решения: от резервирования каналов и обнаружения отказа до VPN, маршрутизации, DNS, проверки пользовательских операций и измерения фактического времени восстановления.
Сначала определяем, что именно должно пережить отказ
Прежде чем выбирать маршрутизаторы, VPN-шлюзы и провайдеров, необходимо определить границы защищаемого сценария. Формулировка «сохранить доступ к удалённым серверам» может описывать принципиально разные архитектуры.
Сотрудники подключаются к серверу через офисную сеть. Рабочие станции находятся в офисе. Маршрут к серверу проходит через офисный маршрутизатор, интернет-провайдера и VPN-шлюз удалённой площадки. В этой конфигурации отказ офисного WAN может лишить сотрудников доступа к серверу, хотя сама серверная площадка продолжает работать.
Удалённые сотрудники подключаются к корпоративному VPN. Сотрудники работают из дома или в поездках. Они устанавливают VPN-соединение с корпоративным шлюзом, после чего получают доступ к внутренним приложениям. Здесь необходимо резервировать не только интернет на стороне компании, но и точку входа в VPN. Если резервный канал не связан с доступным адресом подключения либо шлюз не умеет принимать соединения через него, пользователи останутся без доступа.
Между площадками работает постоянный VPN-туннель. Офис, серверная площадка и, возможно, облачная инфраструктура соединены site-to-site VPN. Через туннель проходят запросы приложений, обращения к базам данных, репликация или обмен между интеграционными сервисами. При отказе канала важно не только восстановить соединение, но и обеспечить корректную маршрутизацию между подсетями. Для длительных соединений дополнительно проверяются тайм-ауты приложений, повторные попытки и поведение систем при кратковременном разрыве связи.
Эти сценарии нельзя объединять в одну универсальную конфигурацию. Резервирование офисного выхода в интернет, восстановление удалённого пользовательского VPN и переключение межплощадочного туннеля решают разные задачи.
Для дальнейшего разбора возьмём компанию, у которой ERP и CRM размещены на отдельной серверной площадке, сотрудники работают из офиса и удалённо, а офис связан с серверной сетью через VPN. У компании есть основной проводной канал и резервный канал другого оператора.
Цель проектирования — обеспечить доступ к критичным системам при отказе основного WAN, не открывая внутренние сервисы напрямую в интернет и не полагаясь на ручное изменение маршрутов во время аварии.
Резервирование каналов: два подключения ещё не означают отказоустойчивость
Начнём с физической связности. Если у организации только один интернет-канал, то любой достаточно серьёзный отказ этого подключения может остановить сетевой обмен с внешними ресурсами. Резервный WAN создаёт альтернативный путь, но только при условии, что он действительно независим от основного.
Независимость провайдеров и общие точки отказа
Предположим, компания заключила договоры с двумя операторами. Первый предоставляет оптоволоконное подключение, второй — тоже оптоволокно, но от другого бренда. Коммерчески это два провайдера. С инженерной точки зрения независимость пока не доказана: операторы могут использовать одну кабельную канализацию, общую последнюю милю, один узел агрегации или инфраструктуру одного вышестоящего оператора.
Если авария происходит на общем участке, оба канала могут потерять связность одновременно.
Поэтому при проектировании следует выяснить:
проходят ли линии по разным физическим трассам;
используют ли они разные точки подключения к сети оператора;
есть ли общие узлы агрегации и вышестоящие сети;
зависит ли резервный канал от оборудования, расположенного в той же зоне риска;
сохраняется ли работоспособность подключения при отказе питания или оборудования на площадке.
Полностью независимые трассы доступны не всегда или экономически оправданы. Важно понимать не абстрактный уровень надёжности провайдера, а конкретные аварии, от которых резервирование должно защищать.
Для небольшой компании комбинация оптоволокна и LTE/5G может обеспечить полезный резерв. Но мобильный канал имеет ограничения по пропускной способности, задержкам, радиопокрытию и доступности входящих соединений. Если оператор использует CGNAT, прямое подключение извне к мобильному адресу может быть невозможно без дополнительной архитектуры.
В таком случае можно рассмотреть исходящий VPN-туннель к доступному публичному узлу, если это соответствует требованиям безопасности и маршрутизации. Однако подобное решение требует отдельного проектирования: сам факт подключения мобильного модема ещё не создаёт альтернативный маршрут до корпоративной сети.
Какую пропускную способность резервировать
Резервный канал не обязательно должен повторять скорость основного. Но его пропускная способность должна соответствовать нагрузке, которую компания обязана сохранить во время аварии.
Для этого полезно разделить трафик на классы:
Пример: ERP, обработка заказов, корпоративные API
Требование при аварии: Сохранить необходимую работоспособность
Пример: CRM, удалённые рабочие столы, административные интерфейсы
Требование при аварии: Контролировать задержку и потери
Пример: DNS, аутентификация, мониторинг
Требование при аварии: Сохранить доступность необходимых зависимостей
Пример: Большие выгрузки, синхронизация архивов
Требование при аварии: При необходимости ограничить или отложить
Здесь важен не только объём трафика, но и характер нагрузки. Десятки сотрудников, работающих с текстовыми формами ERP, могут создавать меньшую нагрузку, чем несколько пользователей, передающих большие файлы или работающих с удалёнными рабочими столами.
Пропускную способность резервного канала определяют по измерениям реального трафика, числу одновременно работающих пользователей и минимальному набору операций, который должен сохраняться при аварии. Для критичных приложений также учитывают задержку, потери пакетов и требования к качеству соединения.
Если резервный канал существенно медленнее основного, может потребоваться политика ограничения фоновых задач. Иначе автоматическое переключение формально восстановит связность, но массовая синхронизация файлов перегрузит резерв и ухудшит работу ERP.
Dual-WAN: как обнаружить отказ и переключить трафик
Dual-WAN позволяет сетевому устройству работать с двумя внешними каналами. В наиболее распространённой схеме основной WAN обслуживает штатный трафик, а резервный активируется при отказе основного.
Такой режим называется failover. Его необходимо отличать от load balancing — распределения соединений между несколькими каналами.
Балансировка может увеличить суммарную пропускную способность для множества независимых соединений, но не превращает два канала в одно неразрывное соединение. Если пользовательское соединение использовало основной WAN, переключение на другой внешний адрес может привести к его разрыву.
В pfSense, например, механизмы Multi-WAN позволяют настраивать группы шлюзов, правила выбора маршрута, мониторинг доступности и переключение при отказе. При этом поведение зависит от правил межсетевого экрана, маршрутов и управления состояниями соединений. Эти принципы применимы и при проектировании аналогичных решений на других платформах, хотя конкретные настройки будут различаться.
Почему проверка шлюза провайдера недостаточна
Один из самых важных элементов failover — определение момента, когда канал следует считать неисправным.
Предположим, офисный маршрутизатор проверяет доступность адреса оборудования оператора. Вышестоящий сегмент сети провайдера теряет связность с внешними сетями, но локальный шлюз продолжает отвечать на ICMP-запросы.
Для мониторинга канал исправен. Для сотрудника корпоративный сервер недоступен.
Это классический сценарий, в котором физическое состояние WAN и фактическая пригодность канала для работы расходятся.
Мониторинг должен проверять несколько уровней:
Состояние физического интерфейса.
Доступность контрольных адресов за пределами локального сегмента провайдера.
Возможность достичь критичного корпоративного узла или VPN-пира через ожидаемый маршрут.
При необходимости — доступность тестовой операции на прикладном уровне.
Последний пункт требует осторожности. Если маршрутизатор проверяет только HTTP-ответ ERP, временный сбой самого приложения может ошибочно восприниматься как отказ интернет-канала. Поэтому сетевой мониторинг и мониторинг приложения должны быть разными сигналами, которые объединяются в логике принятия решений.
Как настроить логику переключения
В надёжной схеме недостаточно правила «один ping не прошёл — переключаемся». Единичные потери пакетов возможны и в работающей сети. Слишком агрессивная реакция создаёт ложные аварии и повторные переключения.
Вместо этого задаются:
интервал между контрольными проверками;
допустимое количество неудачных ответов;
пороги потерь пакетов и задержки;
условия признания канала восстановившимся;
задержка перед возвратом на основной маршрут;
поведение при повторном ухудшении качества связи.
Конкретные значения выбирают на основе характеристик канала и требований приложений, а не по универсальному шаблону.
Здесь важно учитывать и обратное переключение. Если основной провайдер кратковременно восстанавливается, а затем снова теряет связность, немедленный возврат может вызвать повторный обрыв пользовательских соединений. Поэтому после восстановления основного WAN полезно предусмотреть период стабильности перед возвратом трафика.
Отдельно необходимо решить, что делать с соединениями, которые были установлены через отказавший канал. В некоторых конфигурациях сетевое устройство может очищать состояния соединений, связанных с неисправным WAN, чтобы клиенты установили новые соединения через резервный путь. Это помогает не ждать истечения старых тайм-аутов, но способно принудительно разорвать действующие сессии.
Иными словами, автоматическое переключение должно быть спроектировано как последовательность событий: обнаружение отказа, исключение неисправного пути, выбор альтернативы, восстановление необходимых соединений и контроль результата.
VPN после переключения WAN: почему туннель может не восстановиться
Теперь рассмотрим ключевой сценарий. Офисный маршрутизатор переключился на резервный интернет-канал, но доступ к ERP по-прежнему отсутствует.
Причина может заключаться в том, что интернет-канал и VPN — два отдельных уровня инфраструктуры. Успешное переключение первого не гарантирует восстановления второго.
Внешний IP-адрес изменился. Предположим, VPN-туннель между офисом и серверной площадкой был установлен через публичный адрес основного провайдера. При переключении на резервный WAN офис получает другой внешний адрес.
Удалённая сторона может продолжать ожидать подключения от старого адреса. Если конфигурация VPN не предусматривает альтернативный адрес, корректное повторное установление туннеля не произойдёт.
Проблему нельзя решать только изменением маршрута по умолчанию. Нужно определить, как удалённый узел узнаёт новый адрес, принимает соединение и связывает его с правильной политикой безопасности.
Возможны разные архитектуры:
резервные статические публичные адреса, заранее разрешённые на удалённой стороне;
Dynamic DNS, если механизм обновления и повторного разрешения имени подходит для допустимого времени восстановления;
отдельные VPN-туннели через каждый WAN;
маршрутизируемые IPsec-туннели, поддерживаемые одновременно и использующие общий механизм выбора маршрута.
Эти варианты различаются не только стоимостью, но и характером переключения.
Dynamic DNS или постоянно поднятые туннели
Dynamic DNS обновляет соответствие имени и актуального IP-адреса. Это может быть достаточным для сценариев, где несколько минут восстановления допустимы.
Но DNS не переносит действующую VPN-сессию на новый адрес. После смены записи удалённая сторона должна обнаружить актуальный адрес, а туннель — пройти процедуру установления заново. В документации pfSense прямо отмечено, что схема IPsec failover, основанная на gateway groups и Dynamic DNS, может восстанавливать туннель несколько минут.
Другой вариант — поднять отдельный маршрутизируемый IPsec-туннель через каждый WAN и поддерживать их активными.
В такой архитектуре поверх туннелей работает динамическая маршрутизация, которая выбирает доступный путь. pfSense описывает реализацию через VTI и FRR с использованием OSPF или BGP. В зависимости от протокола и настроек переключение маршрута может происходить за секунды вместо минут. Это пример возможной реализации, а не гарантия одинакового результата на любом оборудовании.
Выбор зависит от требований к времени восстановления, доступности публичных адресов, поддержки маршрутизируемых туннелей на обеих площадках и квалификации команды сопровождения.
Почему постоянно поднятый VPN всё равно не гарантирует сохранения сессии
Даже если оба туннеля существуют одновременно, активные соединения приложений могут зависеть от конкретного пути и состояния сетевого оборудования.
После переключения маршрута возможны:
разрыв TCP-соединения;
истечение состояния на межсетевом экране;
изменение NAT-состояния;
потеря части пакетов во время сходимости маршрутизации;
тайм-аут прикладного запроса;
необходимость повторной аутентификации пользователя.
Поэтому нужно различать три события:
VPN-туннель установлен.
Маршрут до корпоративной подсети доступен.
Пользовательская операция успешно завершена.
Если первое событие произошло, а третье нет, задача отказоустойчивости ещё не решена.
Маршрутизация и NAT: как избежать ситуации, когда запрос уходит, но ответ не возвращается
После переключения WAN нужно проверить путь в обоих направлениях.
Предположим, удалённый сотрудник отправляет запрос к ERP через резервный VPN-туннель. Сервер получает запрос, но ответ отправляет по старому маршруту через основной туннель. В результате соединение не восстанавливается, хотя обе стороны могут оставаться доступными.
Такое поведение связано с асимметричной маршрутизацией. Она не всегда является ошибкой сама по себе, но способна конфликтовать с механизмами контроля состояний межсетевого экрана и NAT.
При проектировании необходимо проверить:
какие маршруты объявляются через основной и резервный туннели;
какой путь выбирается для каждой корпоративной подсети;
существует ли обратный маршрут к клиентским адресам;
какие правила NAT применяются при смене WAN;
соответствуют ли правила межсетевого экрана фактическому пути трафика;
как обрабатываются состояния соединений после отказа и восстановления канала.
Статические маршруты или динамическая маршрутизация
Для двух площадок и небольшого количества подсетей статические маршруты могут быть вполне достаточными. Они просты, предсказуемы и позволяют явно определить предпочтительный путь.
Однако при увеличении количества площадок, туннелей и резервных каналов растёт сложность сопровождения. Необходимо синхронизировать маршруты на нескольких устройствах и не допускать ситуации, когда одна сторона уже использует резервный путь, а другая продолжает направлять трафик через основной.
В таких условиях можно рассмотреть динамическую маршрутизацию.
OSPF часто применяется для обмена маршрутами внутри управляемой сети. BGP используется в том числе в более сложных многоплощадочных и автономных сетевых архитектурах. Выбор протокола определяется топологией, требованиями к политике маршрутизации и возможностями оборудования.
При этом динамическая маршрутизация не означает автоматического решения всех проблем. Необходимо проектировать обнаружение отказа, метрики маршрутов, таймеры, фильтрацию объявлений и поведение при восстановлении основного канала.
Также важно не смешивать резервирование WAN с резервированием самого маршрутизатора. Если оба канала подключены к одному неисправному устройству, динамическая маршрутизация внутри VPN не устраняет эту единую точку отказа.
DNS, аутентификация и прикладные зависимости
Один из наиболее показательных случаев возникает после успешного восстановления VPN. Маршрут до серверной подсети работает, но пользователи по-прежнему не могут открыть ERP по привычному имени.
Причина может находиться на уровне DNS.
Например, внутреннее имя приложения разрешается через корпоративный DNS-сервер, доступный только через прежний путь. Или сам DNS-резолвер работает, но его исходящие запросы направляются через отказавший WAN. Поэтому при проектировании необходимо проверить не просто наличие DNS-сервера, а весь процесс разрешения имён: от клиента до внутренней зоны, рекурсивного резолвера и необходимых вышестоящих серверов.
В инфраструктуре также могут существовать другие зависимости:
серверы аутентификации и каталоги пользователей;
службы выдачи сертификатов, проверка их статуса и системы многофакторной аутентификации;
внутренние API, от которых непосредственно зависит работа целевого приложения;
прокси-серверы и системы лицензирования программных продуктов;
внешние сервисы, используемые корпоративным приложением.
Не все эти компоненты обязательно должны быть резервированы одинаковым способом. Сначала определяется, какие из них необходимы для критичного сценария работы, а затем проверяется их доступность через альтернативный путь.
Например, если ERP размещена в дата-центре, а аутентификация зависит от внешнего корпоративного сервиса, резервирование офисного WAN не поможет, если этот сервис остаётся недоступным по другой причине.
Именно поэтому тест «VPN подключился» слишком слаб для приёмки отказоустойчивой архитектуры.
Как сохранить безопасность при переключении
Аварийный режим не должен означать ослабление политики доступа.
При отказе основного провайдера нельзя просто открыть внутренние серверы на публичном интерфейсе, отключить многофакторную аутентификацию или разрешить подключение из любых сетей ради восстановления работы.
Резервная точка входа должна применять предусмотренные механизмы аутентификации, авторизации, фильтрации трафика и журналирования. Доступ к корпоративным ресурсам должен предоставляться только тем пользователям и системам, которым он необходим.
Следует проверить, что при переключении:
VPN использует корректные параметры криптографической защиты;
резервные правила межсетевого экрана не шире штатных без обоснованной необходимости;
сертификаты и ключи действительны и доступны;
журналы подключений сохраняются;
события отказа и восстановления фиксируются;
аварийные изменения конфигурации контролируются и документируются.
Если используется централизованная аутентификация, необходимо убедиться, что резервный путь обеспечивает доступ к соответствующим службам или предусмотрен безопасный альтернативный механизм.
Безопасность и доступность в такой архитектуре должны проектироваться совместно. Иначе можно добиться формального восстановления соединения ценой появления обходного, плохо контролируемого канала доступа.
Как измерить фактическое время восстановления
В техническом задании недостаточно написать «автоматическое переключение без существенного простоя». Такое требование нельзя однозначно проверить. Необходимо определить, какой именно результат считается восстановлением.
Для корпоративной ERP можно выделить несколько временных показателей:
время обнаружения отказа;
время переключения маршрута;
время восстановления VPN и необходимой маршрутизации;
время восстановления прикладной операции после сетевого переключения.
Если эти этапы выполняются строго последовательно, время восстановления можно приблизительно представить как сумму:
T_failover ≈ T_d + T_r + T_v + T_a
Это упрощённая модель. В реальной системе некоторые операции выполняются параллельно, а часть времени зависит от тайм-аутов клиентов и приложений. Поэтому итоговое время следует измерять непосредственно, а не рассчитывать только по настройкам оборудования.
Предположим, компания установила целевое время восстановления доступа к ERP не более 30 секунд. Это пример требования для проектирования, а не универсальная рекомендация или обещание достижимого результата.
Во время испытания зафиксированы следующие значения:
Если эти этапы последовательны, суммарное время составляет 19 секунд. В данном испытании целевой показатель выполнен.
Но один успешный тест ещё не подтверждает надёжность системы. Нужно повторить испытания с разными типами отказов, проверить поведение при потере внешней связности без падения физического интерфейса и убедиться, что результат сохраняется при реальной пользовательской нагрузке.
Кроме того, отдельно оценивается поведение уже открытых сессий. Если после переключения маршрута пользователь вынужден повторно открыть ERP, это может быть приемлемо для одной системы и недопустимо для другой.
Наконец, необходимо определить, что происходит с операциями, которые находились в процессе выполнения в момент разрыва. Сетевое восстановление не гарантирует, что незавершённая транзакция была успешно записана или безопасно повторена. Для этого нужны соответствующие механизмы на уровне приложения, API и базы данных.
Приёмочные испытания: как доказать, что резервирование работает
Отказоустойчивость нельзя принимать по скриншоту, на котором оба WAN отмечены как активные. Проверять нужно заранее определённые сценарии и наблюдаемые результаты.
Перед тестированием фиксируют исходную конфигурацию, доступность критичных сервисов, текущие маршруты и состояние VPN. Испытания проводят в согласованное время, когда потенциальный разрыв не приведёт к неконтролируемому ущербу для бизнеса.
Критерий успеха: Трафик переходит на резерв в пределах целевого времени
Критерий успеха: Система обнаруживает непригодность основного пути
Критерий успеха: Туннель и корпоративные маршруты становятся работоспособными
Критерий успеха: Критичный сервис остаётся доступным либо восстанавливается в заданный срок
Критерий успеха: Предусмотренные имена разрешаются через доступную инфраструктуру
Критерий успеха: Канал возвращается в работу без циклических переключений
Критерий успеха: Известно, какие операции сохраняются, повторяются или требуют вмешательства
Для каждого теста полезно сохранять временные метки, журналы маршрутизатора и VPN-шлюза, сведения о смене маршрутов и результат контрольного запроса к приложению.
Отдельно стоит проверять деградацию канала. Иногда канал не полностью отказывает, а начинает терять пакеты или резко увеличивает задержку. В такой ситуации система может формально считать его доступным, хотя пользовательские операции уже завершаются по тайм-ауту.
Наконец, после каждого теста нужно проверять не только переход на резервный путь, но и возвращение к штатной конфигурации. Неправильная обработка восстановления основного WAN способна вызвать новый сбой уже после завершения первоначальной аварии.
Как выбрать архитектуру под требования бизнеса
Нет смысла внедрять сложную многоплощадочную маршрутизацию там, где достаточно резервного WAN и повторного подключения пользователей. Но и ограничиваться двумя интернет-каналами нельзя, если бизнес зависит от постоянно работающих туннелей, большого количества площадок и строгих требований к восстановлению.
Выбор определяется четырьмя группами факторов:
Критичность приложения. Какие операции должны продолжаться, а какие могут быть временно недоступны?
Время восстановления. Приемлемы ли десятки секунд, несколько минут или требуется более жёсткий показатель?
Топология. Сколько площадок, VPN-шлюзов, подсетей и внешних зависимостей участвует в соединении?
Стоимость эксплуатации. Кто будет контролировать маршруты, обновлять конфигурацию и проводить регулярные испытания?
Для небольшой компании может быть достаточно двух WAN, автоматического failover и VPN с проверенной процедурой восстановления. Для инфраструктуры с несколькими площадками можно рассмотреть постоянно поднятые маршрутизируемые туннели и динамическую маршрутизацию. Если отказ самого маршрутизатора также входит в модель угроз, потребуется резервирование сетевого оборудования, а не только каналов.
При этом нельзя смешивать сетевую отказоустойчивость с высокой доступностью приложений. Даже идеальное переключение WAN не спасёт от отказа единственного сервера ERP, повреждения базы данных или ошибки в программном обеспечении. Для этих рисков необходимы отдельные механизмы резервирования приложений, восстановления данных и управления изменениями.
Поэтому проект начинается с карты зависимостей критичных бизнес-процессов, а не с выбора конкретного маршрутизатора.
Заключение
Стабильный доступ к удалённым серверам при отказе магистрального провайдера требует согласованной работы нескольких уровней инфраструктуры. Резервный интернет создаёт альтернативный физический путь, Dual-WAN обнаруживает отказ и переключает трафик, VPN обеспечивает защищённое соединение, маршрутизация направляет пакеты по доступному пути, а DNS и механизмы аутентификации сохраняют необходимые зависимости.
Но наличие всех этих компонентов ещё не доказывает отказоустойчивость. Она подтверждается только тогда, когда при заранее определённом отказе пользователь действительно может выполнить критичную операцию в установленный срок.
Поэтому качественный проект должен включать описание сценариев отказа, схему резервных путей, правила обнаружения неисправностей, требования к VPN и маршрутизации, измеримые критерии восстановления и программу приёмочных испытаний.
Именно такой подход позволяет отличить формальное резервирование от архитектуры, которая действительно поддерживает непрерывность бизнес-процессов.
Что должно быть, чтобы система не остановила бизнес при сбое
Что произойдёт, если один сервер внезапно отключится
Мониторинг — это не просто «сервер работает»
Все инженерные материалы и экспертные статьи
Полный алфавитный справочник ИТ-терминов