Hallo,
wir betreiben mehrere Server, auf denen Software von uns läuft. Seit rund fünf Jahren überwachen wir nicht mehr /var/log/messages. Es war uns einfach zu viel Aufwand mit hunderten Regex-Ausdrücken alles unwichtige wegzufiltern.
Das funktioniert seit vielen Jahren gut.
Hin- und wieder gibt es aber doch etwas, was ich gerne gesehen hätte.
Zum Beispiel, wenn der oom-killer aktiv wird, weil der Hauptspeicher knapp wird (Beispiel siehe unten).
Wie macht ihr das? Pflegt ihr zig regex-Ausdrücke um alles unwichtige auszublenden?
Gruß, Thomas
Oct 4 11:00:56 gew-work kernel: [27521522.981822] python /home/mo invoked oom-killer: gfp_mask=0x1420848(GFP_NOFS|__GFP_NOFAIL|__GFP_HARDWALL|__GFP_MOVABLE), nodemask=0, order=0, oom_score_adj=0 Oct 4 11:00:57 gew-work kernel: [27521522.981834] python /home/mo cpuset=/ mems_allowed=0 Oct 4 11:00:57 gew-work kernel: [27521522.981837] CPU: 3 PID: 19564 Comm: python /home/mo Not tainted 4.4.114-42.1-default #1 Oct 4 11:00:57 gew-work kernel: [27521522.981838] Hardware name: VMware, Inc. VMware Virtual Platform/440BX Desktop Reference Platform, BIOS 6.00 07/28/2017 Oct 4 11:00:57 gew-work kernel: [27521522.981841] 0000000000000286 0000000000000000 ffffffff8136552d 0000000000000001 Oct 4 11:00:57 gew-work kernel: [27521522.981843] ffff88007c0c77b0 0000000000000000 ffffffff81224e46 ffffffff00000000 Oct 4 11:00:57 gew-work kernel: [27521522.981844] ffffffff00000000 ffffffff81680a71 ffffffff81680a6a ffffffff81680a63 Oct 4 11:00:57 gew-work kernel: [27521522.981845] Call Trace: Oct 4 11:00:57 gew-work kernel: [27521522.981858] [<ffffffff8101c459>] dump_trace+0x59/0x310 Oct 4 11:00:57 gew-work kernel: [27521522.981862] [<ffffffff8101c801>] show_stack_log_lvl+0xf1/0x170 Oct 4 11:00:57 gew-work kernel: [27521522.981865] [<ffffffff8101d6f1>] show_stack+0x21/0x40 Oct 4 11:00:57 gew-work kernel: [27521522.981870] [<ffffffff8136552d>] dump_stack+0x5d/0x80 Oct 4 11:00:57 gew-work kernel: [27521522.981882] [<ffffffff81224e46>] dump_header+0x82/0x239 Oct 4 11:00:57 gew-work kernel: [27521522.981889] [<ffffffff811adce5>] oom_kill_process+0x275/0x450 Oct 4 11:00:57 gew-work kernel: [27521522.981896] [<ffffffff811ae2af>] out_of_memory+0x38f/0x4f0 Oct 4 11:00:57 gew-work kernel: [27521522.981900] [<ffffffff811b2bf5>] __alloc_pages_slowpath+0x875/0x960 Oct 4 11:00:57 gew-work kernel: [27521522.981904] [<ffffffff811b2ee7>] __alloc_pages_nodemask+0x207/0x260 Oct 4 11:00:57 gew-work kernel: [27521522.981910] [<ffffffff811ff807>] alloc_pages_current+0x97/0x120 Oct 4 11:00:57 gew-work kernel: [27521522.981914] [<ffffffff811aab1c>] pagecache_get_page+0x6c/0x200 Oct 4 11:00:57 gew-work kernel: [27521522.981917] [<ffffffff81262939>] __getblk_slow+0xd9/0x310 Oct 4 11:00:57 gew-work kernel: [27521522.981938] [<ffffffffa03b64d6>] ext4_getblk+0x86/0x1c0 [ext4] Oct 4 11:00:57 gew-work kernel: [27521522.981954] [<ffffffffa03b661f>] ext4_bread+0xf/0x90 [ext4] Oct 4 11:00:57 gew-work kernel: [27521522.981966] [<ffffffffa03c0104>] __ext4_read_dirblock+0x44/0x380 [ext4] Oct 4 11:00:57 gew-work kernel: [27521522.981978] [<ffffffffa03c047b>] dx_probe+0x3b/0x590 [ext4] Oct 4 11:00:57 gew-work kernel: [27521522.981990] [<ffffffffa03c1e28>] ext4_find_entry+0x178/0x630 [ext4] Oct 4 11:00:57 gew-work kernel: [27521522.982002] [<ffffffffa03c295f>] ext4_lookup+0x6f/0x240 [ext4] Oct 4 11:00:57 gew-work kernel: [27521522.982006] [<ffffffff81233e49>] lookup_real+0x19/0x50 Oct 4 11:00:57 gew-work kernel: [27521522.982009] [<ffffffff81234387>] __lookup_hash+0x37/0x50 Oct 4 11:00:57 gew-work kernel: [27521522.982012] [<ffffffff812367f9>] walk_component+0x199/0x290 Oct 4 11:00:57 gew-work kernel: [27521522.982016] [<ffffffff81236d8d>] link_path_walk+0x16d/0x550 Oct 4 11:00:57 gew-work kernel: [27521522.982019] [<ffffffff8123726a>] path_lookupat+0x6a/0x100 Oct 4 11:00:57 gew-work kernel: [27521522.982022] [<ffffffff81239a81>] filename_lookup+0xb1/0x190 Oct 4 11:00:57 gew-work kernel: [27521522.982025] [<ffffffff8122f103>] vfs_fstatat+0x43/0x90 Oct 4 11:00:57 gew-work kernel: [27521522.982028] [<ffffffff8122f482>] SYSC_newstat+0x12/0x30 Oct 4 11:00:57 gew-work kernel: [27521522.982032] [<ffffffff8167d94e>] entry_SYSCALL_64_fastpath+0x22/0xbe Oct 4 11:00:57 gew-work kernel: [27521522.984556] DWARF2 unwinder stuck at entry_SYSCALL_
Hallo Thomas,
Wie macht ihr das? Pflegt ihr zig regex-Ausdrücke um alles unwichtige auszublenden?
Ja, genau so. Ich habe einige Kisten, auf denen "logcheck" mit durch mich ergänzten Regeln läuft.
Wenn Du aber weißt, was Du sehen willst, suche doch explizit danach.
Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Klipphausen www.seffner.de | ronny@seffner.de | +49 35245 72950 7EA62E22D9CC4F0B74DCBCEA864623A568694DB8
Am 08.10.19 um 10:39 schrieb Ronny Seffner:
Hallo Thomas,
Wie macht ihr das? Pflegt ihr zig regex-Ausdrücke um alles unwichtige auszublenden?
Ja, genau so. Ich habe einige Kisten, auf denen "logcheck" mit durch mich ergänzten Regeln läuft.
Was für ein logcheck nimmst du? Wir hatten früher unser eigenes für /var/log/messages. Aber da ja alle Linux-Server Betreiber mehr oder weniger das gleiche Anliegen haben, macht es keinen großen Sinn, dass man das selber nur für sich macht.
Wenn Du aber weißt, was Du sehen willst, suche doch explizit danach.
Wie gesagt, wenn es (wie hier) etwas ist, was eigentlich alle anderen Linux-Server Betreiber auch benötigen, dann suche ich lieber ein Tool anstatt eins selber zu schreiben. Früher habe ich mich meiner (Python) Scriptfähigkeit erfreut und ganz viel selber geschrieben. Inzwischen tendiere ich dazu nur dann zu entwickeln, wenn es nicht generisch ist.
Und wenn mir bei einem Tool ein Feature fehlt, dann spreche ich erst mit den Leuten. Nicht selten wird das gewünschte Feature innerhalb ein paar Tagen implementiert.
So bleibt mir dann mehr Zeit um böse, kommerzielle closed source Software zu entwickeln :-)
Gruß, Thomas
Mahlzeit Thomas,
Was für ein logcheck nimmst du? Wir hatten früher unser eigenes für
In Debian heißt das Paket einfach "logcheck". Es gibt ein ganz gutes Set an Regex für Ausschlüsse, welches Du jederzeit erweitern kannst. Ich "trainiere" einen neuen Server i.d.R. über weniger als eine Woche. Einfach in die Mails vom logcheck schuane, und Regex ergänzen. Danach kommen Mails so vereinzelt, dass entweder wirklich was ist oder der Admin das mit einer Installation eines Dienstes vermutlich provoziert hat.
Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Klipphausen www.seffner.de | ronny@seffner.de | +49 35245 72950 7EA62E22D9CC4F0B74DCBCEA864623A568694DB8
lug-dd@mailman.schlittermann.de
-
Ronny Seffner -
Thomas Güttler