Re: парсер для error.log

[Ivan Bondarets <bondarets@xxxxxxxxx>]

мне не для суммарной статистики по типу ошибок. Мне надо анализировать логи с точки зрения событий, которые имеют хоть какое-то отношение к информационной безопасности (события передатся в SIEM для дальнейшей корреляции и анализа). Для основного лога я уже написал парсер (используется нестандартный формат лога), а вот для error как-то не выходит, потому что я не могу точно понять, как разделены поля (и разделены ли вообще), фиксировано ли количество полей или нет, что некоторые из них обозначают и т.п.

18 января 2013 г., 16:19 пользователь Anton Yuzhaninov <citrin@xxxxxxxxx> написал:

On 01/18/13 00:24, Михаил Монашёв wrote:

Если в парсере заменять все числа, строки в
кавычках  и  строки,  идущие  от  двоеточия до запятой и не содержащие
пробелов  на  ХХХ,  то получится свернуть всё разнообразие сообщение в
несколько шаблонных фраз. Ну и ради примера приводить одну несвёрнутую
ошибку ещё можно. Полезная тулза, кстати получится.

Для суммарной статистики по числу ошибок разного типа сейчас использую такой скрипт:

sed -E 's/.* (.*) [0-9]*#0: /\1 /' < $ERROR_LOG \
        | sed 's/ \*[0-9]* / /; s/, client: .*//; s/"[^"]*"/"..."/g;' \
        | sort | uniq -c | sort -rn

--
 Anton Yuzhaninov

_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru

_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru