Режим оперативного хранения агрегированных данных

Коллектор предоставляет режим оперативного хранения агрегированных данных. В этом режиме коллектор накапливает данные в отдельном хранилище и предоставляет доступ к этим данным для анализа. Этот режим ускоряет получение агрегированной статистики конечными пользователями, снижает нагрузку на ClickHouse и гарантирует доступность агрегированных данных в случае отказа ClickHouse. Также данный режим можно использовать для минимальных инсталляций коллектора без установки ClickHouse.

Агрегируемая статистика

В режиме оперативного хранения доступности, коллектор выполняет агрегацию следующих данных:

• топ IP-адресов отправителя
• топ IP-адресов получателя
• топ портов отправителя
• топ портов получателя
• топ длины пакетов
• топ TCP-флагов

При наличии базы GeoIP, также будут доступны дополнительные данные:

• топ стран отправителя
• топ стран получателя
• топ автономных систем отправителя
• топ автономных систем получателя

Также топ IP-адресов отправителя и получателя будут содержать гео-данные.

Настройка режима оперативного хранения

По умолчанию режим оперативного хранения выключен.

Включение данного режима приводит к дополнительному расходу оперативной памяти на коллекторе. С рекомендованными настройками на каждую политику защиты расходуется около 1,5 МБ на стороне коллектора и около 120 МБ на стороне бекенда. В режиме оперативного хранения поддерживается не более 64 политик.

Для включения режима оперативного хранения задайте в файле /srv/collector/.env следующие переменные:

COLLECTOR_STATS_TOP_SIZE=15
COLLECTOR_BACKEND_STATS_PERIOD="1h"

COLLECTOR_STATS_TOP_SIZE задает максимальное хранимое количество топ-элементов. Рекомендуемое значение: 15.

COLLECTOR_BACKEND_STATS_PERIOD задает максимальную длительность хранения статистики. Рекомендуемое значение: 1h