Log analyzer

Анализирует логи web-сервера в формате access.log и строит статистику. Позволяет выявлять аномалии и атакующие адреса. Может использоваться при написании правил фильтрации в LOGAN.

Механизм принимает на вход файл с Access логами Web-сервера в поле “File for analysis” и формат логов в поле “NGINX log-format”.

В поле “Output threshold” задается минимальное количество повторений подсчитываемого параметра для попадания в отчет.

Отчет

Отчет состоит из секций:

• Total;

  • File — название файла;
  • Number of records — количество записей в файле;
  • Rps — средняя скорость поступления запросов.

• Statistics for IPs;

  • Total unique IPs — количество уникальных IP-адресов;
  • Total count — количество записей для каждого IP-адреса;
  • IPs by rps — скорость поступления запросов в секунду с каждого IP-адреса;
  • Total paths without params count — суммарное количество путей без параметров;
  • IPs by paths without params count — количество путей без параметров для каждого IP-адреса;
  • Total paths with params count — суммарное количество путей с параметром;
  • IPs by paths with params count — количество путей с параметром для каждого IP-адреса;
  • Total User-Agents count — количество уникальных User-Agent;
  • IPs by User-agents count — распределение User-Agent по IP-адресам;
  • Total referers count — количество уникальных referer;
  • IPs by referers count — распределение referer по IP-адресам;
  • Total request time — суммарное время на обработку запросов;
  • IPs by total request time — распределение времени обработки запросов по IP-адресам;
  • Total bytes sent — суммарное количество отправленных байт;
  • IPs by total bytes sent — распределение отправленных байт по IP-адресам;
  • IPs by statuses — распределение статус-кодов по IP-адресам;
  • IPs by methods — распределение методов по IP-адресам.

• Statistics for statuses;

  • Total unique statuses — количество уникальных статус-кодов;
  • Total count — суммарное количество логов со статус-кодом;
  • Statuses by count — количество логов для каждого статус-кода;
  • Statuses by rps — средняя скорость поступления запросов с определенным статус-кодом.

• Statistics for paths;

  • Total unique paths without params — суммарное количество уникальных путей без параметров;
  • Total count — суммарное количество логов с путями без параметров;
  • Paths without params by count — частота появления уникального пути без параметров в запросах;
  • Total IPs count — суммарное количество IP-адресов, приславших запрос с путем без параметров;
  • Paths without params by IP count — количество и доля IP-адесов, приславших каждый запрос без параметров;
  • Total unique paths with params — суммарное количество уникальных путей с параметрами;
  • Total count — суммарное количество логов с путями, в которых указаны параметры;
  • Paths with params by count — частота появления уникального пути с параметром в запросах;
  • Total IPs count — суммарное количество IP-адресов, приславших запрос с путем, в котором указан параметр;
  • Paths with params by IP count — количество и доля IP-адесов, приславших каждый запрос с параметрами.

• Statistics for User-Agents;

  • Total unique User-Agents — количество уникальных User-Agent;
  • Total count — суммарное количество запросов с указанием User-Agent;
  • User-Agents by count — количество запросов с каждым User-Agent;
  • User-Agents by rps — средняя скорость поступления запросов с определенным User-Agent.

• Statistics for referers;

  • Total unique referers — количество уникальных referer;
  • Total count — суммарное количество запросов с указанием referer;
  • Referers by count — количество запросов с каждым referer;
  • Total IPs count — суммарное количество IP-адресов, приславших запрос с referer;
  • Referers by IP count — количество и доля IP-адесов, приславших каждый запрос с referer;
  • Referers by rps — средняя скорость поступления запросов с определенным referer.

• Statistics for hostnames;

  • Total unique hosts — количество уникальных hostname;
  • Total count — суммарное количество запросов с указанием hostname;
  • Hostnames by count — количество запросов с каждым hostname.

• Statistics for schemes;

  • Total unique schemes — количество уникальных схем;
  • Total count — суммарное количество запросов с указанием схемы;
  • Schemes by count — количество запросов для каждой схемы.