Protokolltextanalyse unter Linux

Dies ist eine schnelle und schmutzige einzeilige Lösung in Perl:

perl -n -e '$,=" "; @groups = $_ =~ m/(\[.*?\]).*(\[(?:id|uri).*?\]).*((?-2)).*/ ; print @groups, "\n"' /path/to/log/file.log

In diesem Fall wird davon ausgegangen, dass das erste Feld das Datum enthält. Es ist keine bestimmte Reihenfolge der Felder id und uri erforderlich, es werden sie jedoch in der Reihenfolge gedruckt, in der sie in der Datei angezeigt werden.

Eine andere, flexiblere, etwas weniger schmutzige und vielzeilige Lösung in Perl:

%seeked = map { $_ => 1 } qw(id uri unique_id severity msg);

while (<>) {
    my $string = $_;
    my $closing = 1;
    while ( $closing != -1 ) {
            $closing = index($string, "]");
            $field = substr($string, 0, $closing+1);
            $field =~ s/^\s+|\s+$//g;
            $string = substr($string, $closing + 1);

            my @content = split(/ /, $field, 4);

            if (scalar @content == 3 and $field !~ m/"/) {
                    print $field . " ";
                    next;
            }

            if ($seeked{ substr($content[0], 1) }) {
                    print $field . " ";
            }
    }
    print "\n";
}

Um es zu verwenden, kopieren Sie diesen Code, fügen Sie ihn in eine Datei ein und speichern Sie ihn als whatever.pl. Geben Sie dann in der Shell Folgendes ein:

perl /path/to/whatever.pl /path/to/log/file.log

In der ersten Codezeile deklarieren Sie in Klammern direkt nach qw Felder, die gedruckt werden sollen. Ändern Sie diese Zeile, wenn Sie andere Felder oder einige dieser Felder nicht möchten.

Diese Lösung kann immer noch keine Felder in der vorgegebenen Reihenfolge drucken und keine Zeichenfolge anstelle des fehlenden optionalen Felds drucken. Dazu benötigen Sie einen Parser. Fügen Sie zuerst Felder in eine Datenstruktur ein und drucken Sie dann am Zeilenende erkannte Felder.

Darüber hinaus lautet der Code zur "Datumserkennung" Very Wrong ™. Es wird geprüft, ob das Feld genau zwei Leerzeichen enthält und kein doppeltes Anführungszeichen enthält. Wenn beide Bedingungen erfüllt sind, wird davon ausgegangen, dass das Feld Datum ist, und es wird gedruckt. Die richtige Lösung würde prüfen, ob die Zeichenfolge ein gültiges Datum darstellt. Dies kann durch Date :: Manip CPAN Modul, muss aber separat installiert werden.

Wenn Sie beliebige Felder in beliebiger Reihenfolge drucken möchten, müssen Sie einen benutzerdefinierten (?) Parser für dieses Dateiformat schreiben. Dies sollte nicht zu schwierig sein, aber es gibt einige Fallstricke, nach denen Sie suchen müssen:

• Datumsfeld hat impliziten Schlüssel
• Typfeld hat impliziten Schlüssel
• Zumindest das Feld "client" gibt keinen Wert an
• Viele Felder sind optional
• Einige Felder können mehrmals vorkommen (mindestens "Tag").

Ich denke nicht, dass CSV ein geeignetes Format für diese Art von Daten wäre. Es ist am besten für zweidimensionale Datenstrukturen. Da Ihre Daten optionale Felder und Felder zum Speichern von Listen enthalten, ist etwas Flexibleres - wie XML oder JSON - besser.

Nebenbei bemerkt, es scheint, dass jeder, der diese Protokolle schreibt, dachte, dass es einfach sein wird, sie zu lesen. Ich würde empfehlen, die Dokumentation / den Support des Anbieters zu überprüfen, um festzustellen, ob eine bestimmte Lösung im Sinn ist.