Резервное копирование

Возможно резервное копирование следующих компонентов системы:

• данных кластера — настроек, сделанных через web-интерфейс и API;
• данных экземпляра — специфичных для экземпляра настроек;
• метрик (графиков).

Восстановление возможно только на ту же версию MITIGATOR, с которой была сделана резервная копия.

Создание резервной копии

Резервная копия состоит из копии данных кластера (backup.sql) и копии данных каждого экземпляра (один или несколько backup_ownid.tgz).

Резервная копия данных кластера

Выполняется на сервере, хранящем базу данных (primary, если настроена репликация).

Вариант А. При работающем MITIGATOR:

docker-compose exec postgres sh -c 'backup > /tmp/backup.sql'
docker cp mitigator_postgres_1:/tmp/backup.sql .

Вариант Б. При остановленном MITIGATOR:

docker-compose up -d postgres
docker-compose exec postgres sh -c 'backup > /tmp/backup.sql'
docker cp mitigator_postgres_1:/tmp/backup.sql .
docker-compose down postgres

После выполнения любой из приведенных команд следует вручную убедиться, что резервная копия создалась без ошибок:

tail backup.sql

Резервная копия данных экземпляра

Выполняется на каждом из экземпляров:

tar -czf backup_ownid.tgz -C /var/lib/docker/volumes/mitigator_own_id/ .

Резервная копия метрик

Выполняется на сервере, хранящем метрики.

Если перед началом резервного копирования MITIGATOR остановлен, необходимо запустить модуль хранения метрик (docker-compose up -d clickhouse) и остановить его после процедуры создания бэкапа (docker-compose stop clickhouse).

Внимание! Резервные копии метрик, снятые на версиях v22.02.0-v22.04.3, будут иметь расширение .tar.gz

docker-compose exec clickhouse sh -c 'backup'
docker cp mitigator_clickhouse_1:/tmp/metrics.tar.zst .
docker-compose exec clickhouse rm /tmp/metrics.tar.zst

Восстановление из резервной копии

Команды приведены исходя из того, что файлы с резервной копией находятся в рабочем каталоге /srv/mitigator, однако местоположение файлов может быть любым:

• на удаленном сервере;
• на USB-накопителе;
• в любом каталоге системы.

В этом случае в командах должен быть указан полный путь к файлам резервной копии.

Восстановление данных кластера

Выполняется на сервере, хранящем базу данных (primary, если настроена репликация).

1. Остановить MITIGATOR:

   docker-compose down

2. Удалить существующую базу:

   docker volume rm mitigator_postgres

3. Запустить Postgres:

   docker-compose up -d postgres && docker-compose logs -f postgres

4. Дождаться сообщения database system is ready to accept connections, нажать Ctrl+C.

5. Перенести бэкап в контейнер и восстановить данные:

   docker cp backup.sql mitigator_postgres_1:/tmp
   docker-compose exec postgres sh -c 'psql mitigator </tmp/backup.sql >/tmp/restore.log'

Восстановление данных экземпляра

Выполняется на каждом экземпляре.

1. Развернуть volume own_id:

   tar -xzf backup_ownid.tgz -C /var/lib/docker/volumes/mitigator_own_id/ .

2. Запустить MITIGATOR:

   docker-compose up -d

Если на этапе восстановления появились ошибки, технической поддержке будет нужен их текст и файл restore.log, который можно забрать из контейнера так:

docker cp mitigator_postgres_1:/tmp/restore.log .

Восстановление метрик

Выполняется на сервере, хранящем метрики.

1. Запустить Clickhouse (если остановлен)

   docker-compose up -d clickhouse && docker-compose logs -f clickhouse | grep -qm1 "03-create-graphite_tagged-table.sql"

2. Перенести бэкап в контейнер и восстановить данные

   Внимание! Резервные копии метрик, снятые на версиях v22.02.0-v22.04.3, будут иметь расширение .tar.gz

   docker cp metrics.tar.zst mitigator_clickhouse_1:/tmp
   docker-compose exec clickhouse sh -c 'restore /tmp/metrics.tar.zst'

3. Удалить архив с бэкапом из контейнера

   docker-compose exec clickhouse rm /tmp/metrics.tar.zst