Mitigator в режиме кластера

В режиме кластера несколько экземпляров системы Mitigator пользуются едиными базами данных и управляются централизованно. За счет добавления дополнительных экземпляров система может неограниченно масштабироваться. Режим кластера позволяет обрабатывать трафик независимо на каждом экземпляре, но управлять ими из единого интерфейса. При плановом или аварийном отключении любого экземпляра сохраняется возможность управления остальными.

Существует несколько принципиальных схем внедрения.

  • Общее нерезервированное хранилище:

    + простота настройки;
    при выключении главного экземпляра теряется управление и мониторинг;
    при отказе диска главного экземпляра теряются данные.

  • Внешнее отказоустойчивое хранилище:

    + полный контроль и гибкость (отказоустойчивость, тонкая настройка);
    + снимается нагрузка с экземпляров Mitigator´а;
    требуется квалификация администратора;
    нужен дополнительный сервер для хранилища;
    необходимо запускать миграцию вручную при обновлении.

  • Внутреннее отказоустойчивое хранилище:

    + отказоустойчивость за счет репликации БД;
    + нет потребности в дополнительном сервере для хранилища;
    ресурсы экземпляров Mitigator´а расходуются на нужды хранилища;
    повышенные требования к квалификации администратора;
    отсутствие гибкости настройки.

Общее нерезервированное хранилище

Общие базы данных для всех экземпляров Mitigator´а физически хранятся на сервере одного из них. К базовому экземпляру должны быть разрешены подключения с остальных экземпляров по следующим портам TCP: 8888, 2003, 3080, 5432.

Общее нерезервированное хранилище

Установка базового экземпляра выполняется по шагам, описанным в разделе «Установка».

Остальные экземпляры Mitigator´а должны обращаться к БД базового экземпляра и поэтому сначала для них необходимо также выполнить стандартную установку. После установки, но перед запуском, необходимо:

  1. Скачать docker-compose.worker.yml:

    wget https://docs.mitigator.ru/dist/multi/docker-compose.worker.yml \
        -O docker-compose.worker.yml
    
  2. В файле .env задать переменную COMPOSE_FILE так:

    COMPOSE_FILE=docker-compose.yml:docker-compose.worker.yml
    

    Если требуются дополнительные настройки, например, при использовании карт Mellanox, поместить их в docker-compose.override.yml и добавить его в список:

    COMPOSE_FILE=docker-compose.yml:docker-compose.override.yml:docker-compose.worker.yml
    
  3. В файле .env задать переменную MITIGATOR_STORAGE_HOST=192.0.2.1. Здесь 192.0.2.1 – адрес базового экземпляра.

  4. В файле .env задать переменную MITIGATOR_OWN_NAME=mitigator-1. Здесь mitigator-1 – имя экземпляра. Имя каждого экземпляра должно быть уникально.

  5. В файле .env задать переменную MITIGATOR_OWN_ADDRESS=192.0.2.1. Здесь 192.0.2.1 – адрес хоста для данного экземпляра.

Внешнее отказоустойчивое хранилище

Данная схема внедрения подразумевает физическое хранение общих для всех экземпляров Mitigator´а баз данных на внешнем сервере. Работоспособность и отказоустойчивость всех СУБД обеспечивается силами администратора внешнего сервера под конкретные требования.

Внешнее отказоустойчивое хранилище

Все экземпляры разворачиваются как worker´ы (см. выше).

Схема взаимодействия:

  • Mitigator подключается к Postgres для записи и чтения настроек и журналов;
  • Mitigator оправляет в graphite метрики и обращается к его API;
  • в качестве бэкенда Graphite рекомендуется ClickHouse.

Настройка Postgres

В качестве инструмента для миграции схемы и дальнейшего управления используется утилита SHMIG.

Миграции необходимо брать прямо из контейнера используемой версии:

  1. Развернуть полноценный стенд (временно закомментировать строку #COMPOSE_FILE= в файле .env).

  2. Выполнить команду:

    docker-compose create postgres
    
  3. Выполнить команду:

    docker cp mitigator_postgres_1:/schema schema
    
  4. Выполнить команду:

    docker-compose rm -sf postgres
    
  5. Восстановить состояние файла .env, раскомментировав строку #COMPOSE_FILE=.

На уровне Postgres необходимо создать базу mitigator. Скрипты миграций создадут пользователя backend и назначат ему необходимые права. После чего на уровне СУБД нужно разрешить подключение для этого пользователя.

Экземпляры Mitigator´а подключаются к порту 5432/tcp. Строку подключения можно явно переопределить, по умолчанию используется:

services:
  backend:
    environment:
      BACKEND_DATABASE_URI: "postgres://backend@${MITIGATOR_STORAGE_HOST}/mitigator?sslmode=disable"

Настройка Graphite

Mitigator отправляет метрики в формате Graphite plaintext protocol по адресу: ${MITIGATOR_STORAGE_HOST}:2003 (TCP). Если нужно отправлять их в несколько баз, адреса можно указать явно через запятую:

services:
  fwstats:
    environment:
      FWSTATS_GRAPHITE_ADDRESS: "${MITIGATOR_STORAGE_HOST}:2003,another-host:2003"

Mitigator обращается к Graphite API по URL: http://${MITIGATOR_STORAGE_HOST}:3080/render/.

Настройка ClickHouse

Только если ClickHouse используется в качестве бэкенда Graphite.

  1. Развернуть полноценный стенд (закомментировать строку #COMPOSE_FILE= в файле .env).

  2. Выполнить команду:

    docker-compose create clickhouse
    
  3. Выполнить команды:

    docker cp mitigator_clickhouse_1:/etc/clickhouse-server/config.d clickhouse-config
    docker cp mitigator_clickhouse_1:/etc/clickhouse-server/users.d clickhouse-users
    docker cp mitigator_clickhouse_1:/docker-entrypoint-initdb.d clickhouse
    
  4. Выполнить команду:

    docker-compose rm -sf clickhouse
    
  5. Восстановить состояние файла .env, раскомментировав строку #COMPOSE_FILE=.

  6. В файле .env задать переменную MITIGATOR_OWN_NAME=mitigator-1. Здесь mitigator-1 – имя экземпляра. Имя каждого экземпляра должно быть уникально.

  7. В файле .env задать переменную MITIGATOR_OWN_ADDRESS=192.0.2.1. Здесь 192.0.2.1 – адрес хоста для данного экземпляра.

Полученные настройки являются рекомендованными, но могут быть при необходимости изменены, например, см. раздел «Настройка времени хранения метрик в Graphite».

Внутреннее отказоустойчивое хранилище

Внутреннее отказоустойчивое хранилище

При данной схеме внедрения реплики БД хранятся на тех же серверах, где работают экземпляры Mitigator´а. Подробное описание данной схемы внедрения в разделе «Отказоустойчивость PostgreSQL».

Управление через web-интерфейс

Основным изменением в интерфейсе Mitigator´а при переходе на режим кластера стало разделение некоторых настроек на относящиеся к системе в целом и для конкретных экземпляров.

Вкладка «Система»

На вкладке «Экземпляры» пользователю доступен список всех экземпляров системы. Для каждого из них отображается текущий статус активности. Переключателями централизованно изменяется состояние экземпляра. Нажатие на название экземпляра переводит пользователя на страницу настройки экземпляра. Если в системе создан только один экземпляр, то при нажатии на пункт меню «Экземпляры» пользователь сразу попадет на страницу настройки экземпляра.

Страница «Экземпляры»

В настройках экземпляра могут быть изменены его название, признак лидера, статус защиты и адрес обработчика пакетов для данного экземпляра.

Страница «Экземпляр»

Разделы «Интеграция в сеть» и «GRE-туннель со сторонним сервисом» теперь также находятся на вкладке «Экземпляры», так как для корректной работы системы следует задать параметры внедрения в сеть для каждого экземпляра.

Mitigator позволяет использовать агрегацию каналов (LAG) между устройствами во внешней и внутренней сети. Настройки интеграции в сеть влияют на то, какие варианты агрегации каналов могут использоваться:

  • в режиме «L2-прозрачность» — статический или динамический (например, LACP);
  • в режиме «On-a-stick» — только статический LAG.

Mitigator позволяет балансировать нагрузку между несколькими экземплярами системы по ECMP за счет анонсирования по BGP каждым экземпляром одинаковых префиксов. Когда один из экземпляров отключается, анонс снимается и трафик автоматически распределяется между оставшимися экземплярами.

Карточка «Лицензия» разделена на две. В настройках системы задается значение лицензионного ключа, а в настройках экземпляра находятся элементы управления лицензированной полосой и сервисная информация.

В верхней панели интерфейса находится выпадающий список, позволяющий выбрать экземпляр, для которого в системе будут показываться графики. Также возможно отображение суммарно для всех экземпляров, если выбрано значение «Все экземпляры».

Выбор экземпляра для показа графиков