Обновление до v20.06

Старый сервис Graphite (включавший в себя go-carbon с хранилищем whisper, carbonapi, grafana) мигрирует в пять отдельных сервисов: ClickHouse (server), Graphite-ClickHouse, Carbon-ClickHouse, Carbonapi и Grafana.

Преимущества

1. Самое важное: существенно (примерно на порядок) снижается утилизация диска по объему записи/чтения, iops, файловым дескрипторам, занимаемому объему;

2. Возможность оптимизации инсталляций методом использования имеющихся сервисов для нескольких инсталляций.

Инструкция по обновлению

Для обновления рекомендуется выбрать окно минимальной активности: обновление выполняется с рестартом сервисов. Также, на миграцию данных нужно некоторое время (около 10 минут).

Обновление стенда

1. Обновить docker-compose (бинарный) до последней версии (инструкция по установке);

2. Остановить Митигатор:

   docker-compose down

3. Скачать новый docker-compose.yml и поместить его в рабочий каталог (/srv/mitigator);

   wget https://docs.mitigator.ru/v20.06/dist/docker-compose.yml -O /srv/mitigator/docker-compose.yml

   Если в нем были сделаны правки для адаптеров Mellanox, воспроизвести их в новой версии файла.

4. Изменить во всех иных docker-compose*.yml конфигурациях (если они есть), например, docker-compose.override.yml версию конфигурации (version: "2.1") на новую (version: "2.2"):

   sed -i 's$version: "2.1"$version: "2.2"$g' /srv/mitigator/docker-compose*.yml

5. Записать в файл .env строку с версией (если файла нет, создать его):

   VERSION=v20.06

6. Совершить вход в хранилище образов со своими учетными данными:

   docker login docker.mitigator.ru

7. Скачать образы:

   docker-compose pull

Перенос данных

1. Запустить ClickHouse следующей командой:

   docker-compose up -d clickhouse

2. Установить пакет python3-pip и PyPI пакет ClickHouse драйвера (нужен для скрипта переноса):

   apt install -y python3-pip && \
   pip3 install clickhouse-driver

3. Загрузить скрипт переноса данных из Whisper в ClickHouse и сделать его исполняемым:

   wget https://docs.mitigator.ru/v20.06/dist/whisher-to-clickhouse.py && \
   chmod +x whisher-to-clickhouse.py

4. Установить пакет jq, если его нет:

   apt install -y jq

5. Запустить скрипт переноса, указав IP-адрес контейнера ClickHouse и директорию volume graphite (старого):

   ./whisher-to-clickhouse.py \
       $(docker inspect mitigator_clickhouse_1 | jq -r .[0].NetworkSettings.Networks.mitigator_default.IPAddress) \
       /var/lib/docker/volumes/mitigator_graphite/_data/mitigator

Завершение

1. Выполнить запуск MITIGATOR:

   docker-compose up -d

2. Убедиться, что все сервисы поднялись без ошибок:

   docker-compose ps

   (mitigator_frontend_1 со статусом 0 – это нормально);

3. Перейти в интерфейс управления, проверить что архивные графики отображаются; новые графики рисуются;

4. Удалить старый volume с метриками:

   docker volume rm mitigator_graphite