Режим оперативного хранения агрегированных данных

Коллектор предоставляет режим оперативного хранения агрегированных данных. В этом режиме коллектор накапливает данные в отдельном хранилище и предоставляет доступ к этим данным для анализа. Этот режим ускоряет получение агрегированной статистики конечными пользователями, снижает нагрузку на ClickHouse и гарантирует доступность агрегированных данных в случае отказа ClickHouse. Также данный режим можно использовать для минимальных инсталляций коллектора без установки ClickHouse.

Агрегируемая статистика

В режиме оперативного хранения доступности, коллектор выполняет агрегацию следующих данных:

топ IP-адресов отправителя
топ IP-адресов получателя
топ портов отправителя
топ портов получателя
топ длины пакетов
топ TCP-флагов

При наличии базы GeoIP, также будут доступны дополнительные данные:

топ стран отправителя
топ стран получателя
топ автономных систем отправителя
топ автономных систем получателя

Также топ IP-адресов отправителя и получателя будут содержать гео-данные.

Настройка режима оперативного хранения

По умолчанию режим оперативного хранения выключен.

Включение данного режима приводит к дополнительному расходу оперативной памяти на коллекторе. С рекомендованными настройками hugepages дополнительно расходуется 80 МБ изначально и по 1.5 МБ на политику, а обычной памяти дополнительно расходуется по 120 МБ на политику. В режиме оперативного хранения топ считается только в общей защите и не более, чем у 62 политик.

Для включения режима оперативного хранения задайте в файле /srv/collector/.env следующие переменные:

COLLECTOR_STATS_TOP_SIZE=15
COLLECTOR_BACKEND_STATS_PERIOD="1h"

COLLECTOR_STATS_TOP_SIZE задает максимальное хранимое количество топ-элементов. Рекомендуемое значение: 15.

COLLECTOR_BACKEND_STATS_PERIOD задает максимальную длительность хранения статистики. Рекомендуемое значение: 1h