Hi Thomas,

Am 15.12.2012 12:30, schrieb Thomas Schmidt:

Hi!

Am 15. Dezember 2012 12:25 schrieb tranquillo sportfreund_robert@gmx.de:

...

eine wild gewordene Schleife in PHP müllt mir die "/var/log/apache2/error_<meineIP>.de.log" voll.

Normalerweise greifen PHP-Programme nicht auf andere Programmteile über den behäbigen Webserver zu, sondern gehen übers Dateisystem oder die Datenbank. Aber wenn, sollten die abgerufenen URLs wenigstens funktionierende Scripte enthalten und nicht Fehler verursachen.

Das log war damit voll das die php-Funktion readdir() eine "Datei" auf dem Server nicht finden konnte. Diese wurde halt auch über den webserver raus geprintet. Das php den Fehler wirft ist völlig legitim, das war ein dummer Fehler den ich in die Schleife gebaut habe, aber das den Server gleich umhaut ist nicht akzeptabel.

Grüße Robert

Am 15.12.2012 13:34, schrieb Thomas Schmidt:

...

while (false !== ($file = readdir($src))){ ... } )

Wenn $src eine URL ist, testest du damit die Performance des Servers. War doch ein voller Erfolg.

Es war keine URL sondern die "Datei": "/var/www/blubb//data.xml" .. die konnte die Funktion aber nicht finden (//), hat aber auch die while nicht beendet. Evtl. eine fehlerhafte Implementation von php?

Trozdem möchte ch in Zukunft gern verhindern, wenn ich mal einen Fehler mache das ich nicht beim RZ anrufen und die Kiste wiederbeleben lassen muss.

Ansonsten ist es extrem unwahrscheinlich, dass du aus Versehen mal 200MB Logfiles produzierst.

Awesome! habs schon 2mal in einer Woche geschafft. :) (300mb beim 2ten! benötigte Dauer etwa 2min)

Grüße Rob

Hi Thomas,

Am 15.12.2012 13:52, schrieb Thomas Schmidt:

...

...

while (false !== ($file = readdir($src))){ ... } )

Es war keine URL sondern die "Datei": "/var/www/blubb//data.xml"

Was hast du genau gemacht?

<? readdir("/var/www/blubb//data.xml"); ?>

bringt bei mir:

Warning: readdir() expects parameter 1 to be resource, string given in /blaaa/crashtest.php on line 2

Genau und mit der While von oben drum herum wirds ein zu Silvester sehr beliebter Serverkracher.

Grüße Rob

tranquillo sportfreund_robert@gmx.de (Sa 15 Dez 2012 13:48:03 CET):

Am 15.12.2012 13:34, schrieb Thomas Schmidt:

...

...

while (false !== ($file = readdir($src))){ ... } )

Wenn $src eine URL ist, testest du damit die Performance des Servers. War doch ein voller Erfolg.

Es war keine URL sondern die "Datei": "/var/www/blubb//data.xml" .. die konnte die Funktion aber nicht finden (//), hat aber auch die while nicht beendet. Evtl. eine fehlerhafte Implementation von php?

Du möchtest an readdir() keine Datei und auch kein Verzeichnis übergeben. Das genau aber sagt PHP Dir und genau das ist sicherlich auch in einer der Manuals auf PHP.net nachzulesen

$src = opendir("… directory …") or die; while (false !== ($file = readdir($src))) { … }

Würde man nur mit „!=“ testen, bräche es ab, wenn keine Ressource an readdir übergeben wird, aber dafür würde es auch die Schleife beenden, wenn eine Datei „0“ heißt.

Was man da korrekterweise tut, könnte mal jemand erklären, der sich wirklich mit PHP auskennt.

http://www.tnx.nl/php.html

… mehr fällt mir dazu nicht ein ☺

Trozdem möchte ch in Zukunft gern verhindern, wenn ich mal einen Fehler mache das ich nicht beim RZ anrufen und die Kiste wiederbeleben lassen muss.

Ja, wie schon an anderer Stelle von anderen empfohlen - eine eigene Logpartition anlegen, das ist das mindestens, was Du tun könntest.

Best regards from Dresden/Germany Viele Grüße aus Dresden Heiko Schlittermann

Hi Falk,

Am 15.12.2012 13:35, schrieb falk.doering@fadoe.de:

Hallo Robert,

was du hier bemängelst ist kein PHP-Problem. Jedes Programm kann Logfiles zum Überlaufen bringen.

Oh.. das is ja nicht so schön.

Deshalb gibt es auch je ein Dev-, Stage- und Live-System. Entweder du entwickelst lokal oder du fängst solche Fehler gleich ordentlich ab.

Wie genau fängt man einen Fehler ab von dem man erst weiß wenn man bei RZ anrufen muss um zu klären warum selbst kein Ping mehr auf seiner (DEV-) Maschine möglich ist?

Sonst kann ich nur Andreas zustimmen: Error-Loging ausschalten weil es Errors gibt? In welchem Programmierkurs lernt man denn das?

Beide behauptungen sind Unwahr! Weder hatte ich das je vor noch hat Andreas dem wiedersprochen. Ich hab mich an die Grupppe gewendet um genau das nicht zu tun.

Gruß,

Falk

Grüße Rob

Zitat von tranquillo sportfreund_robert@gmx.de:

...

Hi Thomas,

Am 15.12.2012 12:30, schrieb Thomas Schmidt:

...

Hi!

Am 15. Dezember 2012 12:25 schrieb tranquillo sportfreund_robert@gmx.de:

...

eine wild gewordene Schleife in PHP müllt mir die "/var/log/apache2/error_<meineIP>.de.log" voll.

Normalerweise greifen PHP-Programme nicht auf andere Programmteile über den behäbigen Webserver zu, sondern gehen übers Dateisystem oder die Datenbank. Aber wenn, sollten die abgerufenen URLs wenigstens funktionierende Scripte enthalten und nicht Fehler verursachen.

Das log war damit voll das die php-Funktion readdir() eine "Datei" auf dem Server nicht finden konnte. Diese wurde halt auch über den webserver raus geprintet. Das php den Fehler wirft ist völlig legitim, das war ein dummer Fehler den ich in die Schleife gebaut habe, aber das den Server gleich umhaut ist nicht akzeptabel.

Grüße Robert

---

Lug-dd maillist - Lug-dd@mailman.schlittermann.de https://ssl.schlittermann.de/mailman/listinfo/lug-dd

---

Lug-dd maillist - Lug-dd@mailman.schlittermann.de https://ssl.schlittermann.de/mailman/listinfo/lug-dd

Hi Andreas,

Am 15.12.2012 12:32, schrieb Andreas Kretschmer:

tranquillo sportfreund_robert@gmx.de wrote:

...

Hi,

eine wild gewordene Schleife in PHP müllt mir die "/var/log/apache2/error_<meineIP>.de.log" voll.. und zwar so richtig. letzte Woche war der Server dadurch so voll das das RZ den Kasten stoppen, mir eine Speichererweiterung verkaufen und dann neustarten musste. Dannach hab ich die erste 200mb riesige log gefunden. Eben, beim

Ähm, whot?

Die Logs sollten doch auf einer eigenen Partition liegen. Wenn die vollläuft, sieht man doch, was die Ursache ist.

Ich verstehe nicht. Der Server hat nur eine Partition (zumindest sehe ich die bei meiner VM das nur so). Die Ursache ist auch klar. Eine Endlosschleife welche beim rumprobieren schonmal vorkommt ( die php-standardlösung beim Dateizugriff: while (false !== ($file = readdir($src))){ ... } ).

Ich will das es nicht passiert das ein log welches auf Grund eines Benutzerfehlers geschrieben wird den Server platt macht. Also entweder irgendwelche harte Grenzen in php oder auf Basis des darunterliegenden debian.

Grüße Rob

Moinsen :)

Am 16.12.2012 09:22, schrieb Andreas Kretschmer:

tranquillo sportfreund_robert@gmx.de wrote:

...

...

Die Logs sollten doch auf einer eigenen Partition liegen. Wenn die vollläuft, sieht man doch, was die Ursache ist.

Ich verstehe nicht. Der Server hat nur eine Partition (zumindest sehe ich die bei meiner VM das nur so).

Ohh okay. Man kann aber auch eine ded. Partition für /var oder /var/logs machen, und diese monitoren. Dann ist halt /var voll, und nicht Deine eigentliche Daten-Partition. Vereinfach die Fehlersuche...

Nur weil / voll ist ohne weitere Untersuchung warum einen Zukauf machen ist aber IMHO, ähm, gaga.

Ich bin nicht sicher ob ich den Satz verstanden haben, er lässt sich schwierig parsen :) Aber der Zukauf von Speicher war nötig, da die Kiste garnicht mehr hochfuhr und das RZ mir alternativ anbot bestimmte Dateien zu löschen, die ich Pfad-genau hätte angeben müssen. Aber weder war zu dem Zeitpunkt schon klar wo genau das Problem liegt noch was die "großen" Dateien auf dem System sind. Ergo war das die sinnvollste Entscheidung. Zumal das sowieso schon mehrfach auf der Agenda stand.

...

Ich will das es nicht passiert das ein log welches auf Grund eines Benutzerfehlers geschrieben wird den Server platt macht. Also entweder irgendwelche harte Grenzen in php oder auf Basis des darunterliegenden debian.

Nun ja, Du kannst auch fork-Bomben basteln oder andere böse Dinge. Zum 'spielen' nimmt man halt keine Produktionssysteme.

Wie ganz oben schon geschrieben, es handelt sich um mein Dev/Spiel-System. Lokale Installationen nutzen mir überhaupt nichts, da mein Lappi Windows hat, das würde mindestens erhöhten und bis doppelten Test und Programieraufwand erzeugen. Zu dem können garnicht alle Applikationen lokal repliziert werden, da sie in abhängige Gebilde eingebettet sind. Und zu guter letzt, würde erstens Windows keine 200mb logfile schreiben und zweitens der Läppi wegen einer 200mb logfile nicht abstürzen (der gewonnen Erkenntnisgewinnn wäre also geringer).

Die Idee mit der Pipe finde ich sehr genial und könnte genau das richtige sein, klingt aber für mich noch etwas kompliziert. Die Geschichte mit extra logpartition ist sicherlich möglich... aber... jetzt geht mal ganz tief in euch.. und seid mal ganz ehrlich zu euch selbst, wenn euch ein Betriebsystem angeboten würde, nennen wir es Windows BlueFlubber, Mac OS Tigerlilly oder Kim.COM OS worldwide oder what ever und ihr erfahrt um sicher darauf proggen zu können (nur ganz schnöder php/sql kram) müsst ihr eine eigene Partition anlegen weil sonst das logfile den Server innerhalb 1-2Minuten wegschiessen kann.. würdet ihr auch nur eine Minute daran verschwenden dieses Betriebsystem zur Arbeit in Betracht zu ziehen? Ich weiß, ihr fühlt euch auf den Schlips getreten weil jemand euer baby schlecht macht, aber ich sehe es aus absolut praktischer Sicht und ohne Wertung oder bösen Willen. Aber so eine Lösung kann und will ich nicht akzeptieren. :)

Naja.. lassen wir das, die Chance das das nochmal Auftritt ist ja extrem gering, als Antwort darauf hab ich aber mein DiscMonitoring gleich noch ausgeweitet und verbessert und muss halt noch aufmerksamer bei Dateizugriffen und Schleifen sein

Viele Grüße und Danke für die umfangreiche Diskussion Rob

On Sunday 16 December 2012 11:42:25 tranquillo wrote:

...

Nun ja, Du kannst auch fork-Bomben basteln oder andere böse Dinge. Zum 'spielen' nimmt man halt keine Produktionssysteme.

Wie ganz oben schon geschrieben, es handelt sich um mein Dev/Spiel-System.

Genau da liegt ein wesentliches Problem: es mag ein System sein welches als "Dev" bezeichnet wird, aber es liegt nicht in Deiner Kontroller und verursacht Kosten wenn Du Fehler machst.

Lokale Installationen nutzen mir überhaupt nichts, da mein Lappi Windows hat, das würde mindestens erhöhten und bis doppelten Test und Programieraufwand erzeugen.

VirtualBox. Ich habe auf meinen Entwicklerlaptops mehrere VMs mit verschiedenen Betriebssystemen und Versionen - das hat sich als sehr sinnvoll erwiesen.

Zu dem können garnicht alle Applikationen lokal repliziert werden, da sie in abhängige Gebilde eingebettet sind.

Mach mal einen Schritt zurück von Deinem Problem und denk' ernsthaft über Dein Entwicklungsmodell nach. Wenn Du Deine Applikation nicht auf einer von Dir kontrollierten Umgebung testen kannst (auch Amokläufe in Logs sind "Tests"), dann hast Du ein ernsthaftes Problem mit der Qualitätssicherung. Tipp: das sind Probleme die strategisch angegangen werden müssen.

Und zu guter letzt, würde erstens Windows keine 200mb logfile schreiben und zweitens der Läppi wegen einer 200mb logfile nicht abstürzen (der gewonnen Erkenntnisgewinnn wäre also geringer).

Ich kenne Gegenbeispiele für beide Aussagen. Ich habe oft genug vor Windows- Servern gesessen, die ihre Software nicht mehr starten wollten, weil das Event-Log voll war. Und ich habe auch nahezu jede Art von Hardware/Software- Kombination abgestürzt, eingefroren, oder sonstwie unbrauchbar gesehen.

Mit genug Schwung kriegt man jeden Server aus seinem stabilen Zustand geworfen... ;-)

Die Idee mit der Pipe finde ich sehr genial und könnte genau das richtige sein, klingt aber für mich noch etwas kompliziert. Die Geschichte mit extra logpartition ist sicherlich möglich... aber... jetzt geht mal ganz tief in euch.. und seid mal ganz ehrlich zu euch selbst, wenn euch ein Betriebsystem angeboten würde, nennen wir es Windows BlueFlubber, Mac OS Tigerlilly oder Kim.COM OS worldwide oder what ever und ihr erfahrt um sicher darauf proggen zu können (nur ganz schnöder php/sql kram) müsst ihr eine eigene Partition anlegen weil sonst das logfile den Server innerhalb 1-2Minuten wegschiessen kann.. würdet ihr auch nur eine Minute daran verschwenden dieses Betriebsystem zur Arbeit in Betracht zu ziehen?

Ja. Lieber als eins bei dem ich erfahre dass noch niemand eine Lösung für dieses Problem hat. Gewöhn Dich an den Gedanken dass Du bei jedem System ein paar Regeln beachten musst oder mit den Konsequenzen der Nichtbeachtung zu leben hast.

Ich weiß, ihr fühlt euch auf den Schlips getreten weil jemand euer baby schlecht macht, aber ich sehe es aus absolut praktischer Sicht und ohne Wertung oder bösen Willen. Aber so eine Lösung kann und will ich nicht akzeptieren. :)

Ich habe kein Problem damit - ist ja nicht mein Baby, sondern nur das Betriebssystem was sich in meinem Alltag als das produktivste herausgestellt hat.

Wenn Du keine Lösungen akzeptieren willst solltest Du Dir ganz dringend eine neue Beschäftigung suchen. Beim Winterdienst werden im Augenblick ganz dringend Helfer gesucht. ;-P

Naja.. lassen wir das, die Chance das das nochmal Auftritt ist ja extrem gering,

Nein. Das tritt jedesmal auf wenn Du Blödsinn in Schleifen packst. Das ist normaler Programmieralltag. Alternativ wirst Du andere "interessante" Probleme sehen.

als Antwort darauf hab ich aber mein DiscMonitoring gleich noch ausgeweitet und verbessert und muss halt noch aufmerksamer bei Dateizugriffen und Schleifen sein

Korrekt so.

Konrad

Nochmal zum Verständnis.

Werden Fehler vom Webserver oder von PHP geloggt? Das Loggen von PHP-Fehlern ist doch recht unüblich.

Deine Schleife verstehe ich ebenso wenig.

1) Du greifst auf ein Verzeichnis zu, das nicht existiert. Warum prüfst du die Existenz nicht? Du wirst die Fehlermeldungen doch gesehen haben.

2) Dann wiederholst du den Zugriff in einem unglaublichen Tempo. Was soll das? Geht da nicht ein delay()?

3) Und schließlich ist das Polling und potentiell endlose Wiederholen ein schöner Ressourcen-Killer. Kann das Script nicht nach drei Fehlversuchen abbrechen, oder, besser, nur starten, wenn die benötigte Datei da ist?

Hi @ all, Am 15.12.2012 16:51, schrieb Andre Klärner:

Moin Thomas, Gruß, Andre

vielen Dank für die ganzen Vorschläge und Hinweise. Allerdings glaube ich, werd ich immer noch nicht wirklich verstanden. Wenn man entwickelt, baut man zwangsläufig viel testcode und damit potentiell schonmal viel Stuss der Fehler wirft. Das ist auch gut so, man übt bzw. versucht ja herum. Das da Fehler geworfen werden ist total in Ordnung und auch gewünscht (na klar sichere ich -jetzt- die Schleife mit einem is_dir($src) ab, nachdem klar ist das es vorkommmen kann das es den Server wegknallt wenn das nicht gemacht wird), aber ich will nicht das bei der nächsten komischen Konstellation von Code das wieder das Log voll läuft und ich wieder beim RZ anrufen muss. Ich hätte also gerne eine Lösung in der Form das die Betriebsystemkomponente die die Logfiles schreibt, vor jeder Zeile die sie schreibt schaut, sind zB. noch mindestes 30mb freier Speicher? Ja! -> Ok logge das Problem ... Nein! -> Email an mich: "Junge, Du hast ganz andere Probleme als diese Logzeile: ..."

Viele Grüße Rob

Moin,

tranquillo sportfreund_robert@gmx.de (Sa 15 Dez 2012 17:27:03 CET):

Betriebsystemkomponente die die Logfiles schreibt, vor jeder Zeile die sie schreibt schaut, sind zB. noch mindestes 30mb freier Speicher? Ja! -> Ok logge das Problem ... Nein! -> Email an mich: "Junge, Du hast ganz andere Probleme als diese Logzeile: ..."

Wenn Du partout keine eigene Partition für das Logging vorsehen möchtest, kannst Du den Apachen auch in eine Pipeline loggen lassen. Diese Pipeline kann ein von Dir geschriebener Script sein, der dann genau das tut, was Du möchtest - z.B. prüfen, ob noch genug Platz ist, und dann etwas schlaues tun, wenn keiner mehr da ist.

Ich meine, das wird mit einigen wenigen Zeilen *sh oder einer fast beliebigen P-Sprache machbar sein.

Best regards from Dresden/Germany Viele Grüße aus Dresden Heiko Schlittermann

Moin,

Grimnin Fridyson fridy_lugdd@yahoo.de (Sa 15 Dez 2012 23:35:09 CET):

...

Betriebsystemkomponente die die Logfiles schreibt, vor jeder Zeile die sie schreibt schaut, sind zB. noch mindestes 30mb freier Speicher? Ja!

Du könntest im logrotat ein filesize einstellen. wenn du ein paar logs aufheben willst, kannst du sie noch komprimieren. (Informationen können verloren gehen)

logrotate ist aber kein Daemon, der dann plötzlich aktiv wird. Sondern das mit der Filesize zieht auch nur immer dann, wenn er aufgerufen wird (typischerweise 1x täglich)

Hallo Ottmar,

Klingt für mich nach einer Aufgabe für ein hardware-raid1. Die vorhandene Platte verdoppeln und 1:1 redundant nutzen. Vorher ein Image der aktuellen Platte ziehen und nach Einrichtung des raid1 im (oder kurz nach dem) mainboard bios das Image wieder einspielen, welches dann wie alle anderen daten auch automatisch redundant gespeichert werden.

Zum backupen von nur einzelnen Ordnern unter MS bietet sich das hauseigene Sync Framework an. Ähnliches gibts sicher auch unterm Pinguin.

Vg

Am 15.12.2012 17:27, schrieb tranquillo:

vielen Dank für die ganzen Vorschläge und Hinweise. Allerdings glaube ich, werd ich immer noch nicht wirklich verstanden.

Ich glaube schon, dass die Mehrheit Dein Problem verstanden hat.

Begrenzungen in logrotate/rotatelogs würde ich jedoch nicht empfehlen, da Dir dadurch möglicherweise notwendige Infos entgehen könnten.

Besser wäre in Deinem Fall, wie auch schon geschrieben wurde, saubere Programmierung - meint: Fehler bereits innerhalb des Scripts abfangen.

Und vor allem, wie Dir ebenfalls bereits empfohlen wurde, nicht auf dem Live-System testen, sondern eine identische lokale Installation einrichten oder gegebenenfalls einen gleichwertigen Test-Server mieten.

Gruß René Thiel (Rennkuckuck) mailto:reti@rennkuckuck.de