Hallo Leute!
Ein Server, den ich verwalte, hat seit gestern Haufen Probleme und stürzt ständig ab. Der Provider meint, es liegt an der Festplatten (zwei 1TB-Seagate in SW-RAID1). Ich habe mit smartctl die Informationen der Festplatten geholt. Hier sind sie:
root@mail:~# smartctl -a /dev/sda smartctl version 5.38 [x86_64-unknown-linux-gnu] Copyright (C) 2002-8 Bruce Allen Home page is http://smartmontools.sourceforge.net/
=== START OF INFORMATION SECTION === Device Model: ST1500DL003-9VT16L Serial Number: 5YD3JC0T Firmware Version: CC32 User Capacity: 1.500.301.910.016 bytes Device is: Not in smartctl database [for details use: -P showall] ATA Version is: 8 ATA Standard is: ATA-8-ACS revision 4 Local Time is: Sun Nov 2 09:16:01 2014 CET SMART support is: Available - device has SMART capability. SMART support is: Enabled
=== START OF READ SMART DATA SECTION === SMART overall-health self-assessment test result: PASSED
General SMART Values: Offline data collection status: (0x82) Offline data collection activity was completed without error. Auto Offline Data Collection: Enabled. Self-test execution status: ( 0) The previous self-test routine completed without error or no self-test has ever been run. Total time to complete Offline data collection: ( 633) seconds. Offline data collection capabilities: (0x7b) SMART execute Offline immediate. Auto Offline data collection on/off support. Suspend Offline collection upon new command. Offline surface scan supported. Self-test supported. Conveyance Self-test supported. Selective Self-test supported. SMART capabilities: (0x0003) Saves SMART data before entering power-saving mode. Supports SMART auto save timer. Error logging capability: (0x01) Error logging supported. General Purpose Logging supported. Short self-test routine recommended polling time: ( 1) minutes. Extended self-test routine recommended polling time: ( 255) minutes. Conveyance self-test routine recommended polling time: ( 2) minutes. SCT capabilities: (0x30b7) SCT Status supported. SCT Feature Control supported. SCT Data Table supported.
SMART Attributes Data Structure revision number: 10 Vendor Specific SMART Attributes with Thresholds: ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000f 105 099 006 Pre-fail Always - 202496 3 Spin_Up_Time 0x0003 093 093 000 Pre-fail Always - 0 4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 22 5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always - 0 7 Seek_Error_Rate 0x000f 088 060 030 Pre-fail Always - 783990676 9 Power_On_Hours 0x0032 079 079 000 Old_age Always - 18950 10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0 12 Power_Cycle_Count 0x0032 100 100 020 Old_age Always - 23 183 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0 184 Unknown_Attribute 0x0032 100 100 099 Old_age Always - 0 187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0 188 Unknown_Attribute 0x0032 100 099 000 Old_age Always - 7 189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0 190 Airflow_Temperature_Cel 0x0022 069 061 045 Old_age Always - 31 (Lifetime Min/Max 30/31) 191 G-Sense_Error_Rate 0x0032 100 100 000 Old_age Always - 0 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 22 193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always - 23 194 Temperature_Celsius 0x0022 031 040 000 Old_age Always - 31 (0 23 0 0) 195 Hardware_ECC_Recovered 0x001a 021 006 000 Old_age Always - 202496 197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0 240 Head_Flying_Hours 0x0000 100 253 000 Old_age Offline - 79482664798721 241 Unknown_Attribute 0x0000 100 253 000 Old_age Offline - 2290199647 242 Unknown_Attribute 0x0000 100 253 000 Old_age Offline - 1292492816
SMART Error Log Version: 1 No Errors Logged
SMART Self-test log structure revision number 1 Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error # 1 Short offline Completed without error 00% 18944 -
SMART Selective self-test log data structure revision number 1 SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS 1 0 0 Not_testing 2 0 0 Not_testing 3 0 0 Not_testing 4 0 0 Not_testing 5 0 0 Not_testing Selective self-test flags (0x0): After scanning selected spans, do NOT read-scan remainder of disk. If Selective self-test is pending on power-up, resume after 0 minute delay.
root@mail:~# smartctl -a /dev/sdb smartctl version 5.38 [x86_64-unknown-linux-gnu] Copyright (C) 2002-8 Bruce Allen Home page is http://smartmontools.sourceforge.net/
=== START OF INFORMATION SECTION === Device Model: ST1500DL003-9VT16L Serial Number: 5YD53YL1 Firmware Version: CC32 User Capacity: 1.500.301.910.016 bytes Device is: Not in smartctl database [for details use: -P showall] ATA Version is: 8 ATA Standard is: ATA-8-ACS revision 4 Local Time is: Sun Nov 2 09:16:05 2014 CET SMART support is: Available - device has SMART capability. SMART support is: Enabled
=== START OF READ SMART DATA SECTION === SMART overall-health self-assessment test result: PASSED
General SMART Values: Offline data collection status: (0x82) Offline data collection activity was completed without error. Auto Offline Data Collection: Enabled. Self-test execution status: ( 0) The previous self-test routine completed without error or no self-test has ever been run. Total time to complete Offline data collection: ( 633) seconds. Offline data collection capabilities: (0x7b) SMART execute Offline immediate. Auto Offline data collection on/off support. Suspend Offline collection upon new command. Offline surface scan supported. Self-test supported. Conveyance Self-test supported. Selective Self-test supported. SMART capabilities: (0x0003) Saves SMART data before entering power-saving mode. Supports SMART auto save timer. Error logging capability: (0x01) Error logging supported. General Purpose Logging supported. Short self-test routine recommended polling time: ( 1) minutes. Extended self-test routine recommended polling time: ( 255) minutes. Conveyance self-test routine recommended polling time: ( 2) minutes. SCT capabilities: (0x30b7) SCT Status supported. SCT Feature Control supported. SCT Data Table supported.
SMART Attributes Data Structure revision number: 10 Vendor Specific SMART Attributes with Thresholds: ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000f 103 099 006 Pre-fail Always - 397376 3 Spin_Up_Time 0x0003 093 093 000 Pre-fail Always - 0 4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 22 5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always - 0 7 Seek_Error_Rate 0x000f 088 060 030 Pre-fail Always - 778075345 9 Power_On_Hours 0x0032 079 079 000 Old_age Always - 18949 10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0 12 Power_Cycle_Count 0x0032 100 100 020 Old_age Always - 23 183 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0 184 Unknown_Attribute 0x0032 100 100 099 Old_age Always - 0 187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0 188 Unknown_Attribute 0x0032 100 099 000 Old_age Always - 12885098502 189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0 190 Airflow_Temperature_Cel 0x0022 070 062 045 Old_age Always - 30 (Lifetime Min/Max 29/31) 191 G-Sense_Error_Rate 0x0032 100 100 000 Old_age Always - 0 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 22 193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always - 23 194 Temperature_Celsius 0x0022 030 040 000 Old_age Always - 30 (0 22 0 0) 195 Hardware_ECC_Recovered 0x001a 037 006 000 Old_age Always - 397376 197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0 240 Head_Flying_Hours 0x0000 100 253 000 Old_age Offline - 71365176609281 241 Unknown_Attribute 0x0000 100 253 000 Old_age Offline - 3047646566 242 Unknown_Attribute 0x0000 100 253 000 Old_age Offline - 3123900930
SMART Error Log Version: 1 No Errors Logged
SMART Self-test log structure revision number 1 Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error # 1 Short offline Completed without error 00% 18943 -
SMART Selective self-test log data structure revision number 1 SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS 1 0 0 Not_testing 2 0 0 Not_testing 3 0 0 Not_testing 4 0 0 Not_testing 5 0 0 Not_testing Selective self-test flags (0x0): After scanning selected spans, do NOT read-scan remainder of disk. If Selective self-test is pending on power-up, resume after 0 minute delay.
Der Provider meint, beide Festplatten sind am Ende ihres Lebens und deswegen stürzt die Kiste ständig ab. Ich muss sagen, dass ich mit SMART nicht ganz fit bin, ich habe aber jetzt im Internet gesucht und überall sehe ich, dass die Werte höher als den Threshold sein müssen, ansonsten ist die Platte in kürze tot. Alle Werte sind immer höher als THRESH, dazu "No Errors Logged" und "Short offline" mit "Completed without error" würde ich interpretieren als "alles in Ordnung". Aber da ich auch Fehler machen kann, will ich lieber euch fragen...
Wie gesund sind die zwei Festplatten? Wenn sie tatsächlich kaputt sind, wie kann ich es erkennen?
Danke für eure Hilfe! Luca Bertoncello (lucabert@lucabert.de)
Hi Luca,
S.M.A.R.T ist kein Allheilmittel sondern nur ein Indikator. Wenn S.M.A.R.T was weiß, dann ist da i.d.R. auch was, wenn S.M.A.R.T aber schweigt, heißt das im Umkehrschluss nicht, dass die Platte nicht defekt ist.
Soviel zum Allgemeinen, Du willst ja nun die Aussage des Hosters verifizieren. Ich lese mir schon gar nicht mehr im Detail durch, was smartctl sagt, ich rufe es wie Du mit "-a" auf und prüfe dann unmittelbar den RETURN VALUE (man smartctl) mittels "echo $?" (bash). Kommt da keine "0" kann man sich mit Blick in die man-page vielleicht den Einsatz für weitere 2 Monate schönreden - aber irgendwas ist da und was, dass interessiert mich dann nicht. Ich lasse die Platten tauschen.
Ps. Ein Memtest kann auch aufschlussreich sein, aber bitte direkt gebootet und nicht aus dem laufenden System. Viel häufiger stürzen Kisten wegen kippender Bits im RAM ab nach meiner Erfahrung. Geplatzte ELKOs versorgen mit falscher Spannung und quälen Komponenten. Auch ein Indikator. Oder steinalte ausgetrocknete Leitpaste und die CPU stirbt den Hitzetod.
Dein Hoster sollte ne Sichtprobe machen VOR solchen (wenn S.M.A.R.T nichts sagt) pauschalen Aussagen: drehen Lüfter leicht, sind Kühlkörper unverstopft, sind die ELKOs plan, sitzen Stecker fest, ggf. Kühlpaste erneuern. Dann ein Wartungsfenster, wo er mal 10min nen memtest anstartet. Und erst dann ist Deine Software schuld ;-) Mutmaßlich.
Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Klipphausen www.seffner.de | ronny@seffner.de | +49 35245 72950 7EA62E22D9CC4F0B74DCBCEA864623A568694DB8
Hi!
S.M.A.R.T ist kein Allheilmittel sondern nur ein Indikator.
Bei Hetzner konnte ich das nicht so recht bestätigen. SMART schien bei meinem Server generell keine Fehler zu berichten. Als die zweite RAID-Platte kaputt war, kam der Datenverlust. Das Rechenzentrum bestätigte den Schaden sehr schnell. $ smartctl wusste weiterhin von nichts.
Thomas
Thomas Schmidt schmidt@netaction.de wrote:
Hi!
S.M.A.R.T ist kein Allheilmittel sondern nur ein Indikator.
Bei Hetzner konnte ich das nicht so recht bestätigen. SMART schien bei meinem Server generell keine Fehler zu berichten. Als die zweite RAID-Platte kaputt war, kam der Datenverlust. Das Rechenzentrum bestätigte den Schaden sehr schnell. $ smartctl wusste weiterhin von nichts.
Nichts anderes wurde ja gesagt: wenn smartctl nichts sagt, heißt das nicht, daß nichts ist. Und das 2 RAID-Platten sterben, bzw. erst eine und später die andere, ohne daß es jemand merkt, ist ein Zeichen für schlechtes Monitoring. Oder Hoster.
Andreas
S.M.A.R.T ist kein Allheilmittel sondern nur ein Indikator.
Bei Hetzner konnte ich das nicht so recht bestätigen. SMART schien bei
Das ist doch was ich sagen wollte. S.M.A.R.T _KANN_ von Fehlern wissen, muss es aber nicht.
Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Klipphausen www.seffner.de | ronny@seffner.de | +49 35245 72950 7EA62E22D9CC4F0B74DCBCEA864623A568694DB8
"Ronny Seffner" ronny@seffner.de schrieb:
S.M.A.R.T ist kein Allheilmittel sondern nur ein Indikator.
Bei Hetzner konnte ich das nicht so recht bestätigen. SMART schien bei
Das ist doch was ich sagen wollte. S.M.A.R.T _KANN_ von Fehlern wissen, muss es aber nicht.
OK, das ist mir klar, aber meine Frage war: anhand der Ausgabe von SMART, die ich geschickt habe, könnt ihr Probleme erkennen?
Danke Luca Bertoncello (lucabert@lucabert.de)
Thomas Schmidt schmidt@netaction.de schrieb:
Was ich sagen wollte: smartctl scheint das falsche Tool zu sein. Hetzner sah den Fehler, ich mit smartctl nicht. Mehr weiß ich nicht.
anhand der Ausgabe von SMART, die ich geschickt habe, könnt ihr Probleme
erkennen?
Nein, sieht gut aus.
Gut, dann bin ich beruhigt... Ich dachte fast, dass ich nicht mehr einen einfachen Englischtext lesen könnte... :)
Grüße und Danke Luca Bertoncello (lucabert@lucabert.de)
OK, das ist mir klar, aber meine Frage war: anhand der Ausgabe von SMART, die ich geschickt habe, könnt ihr Probleme erkennen?
Ich habe sie nicht gelesen, da ich mich aus gut funktionierender Erfahrung allein auf den RETURN VALUE verlasse.
Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Klipphausen www.seffner.de | ronny@seffner.de | +49 35245 72950 7EA62E22D9CC4F0B74DCBCEA864623A568694DB8
Ronny Seffner schrieb:
S.M.A.R.T ist kein Allheilmittel sondern nur ein Indikator. Wenn S.M.A.R.T was weiß, dann ist da i.d.R. auch was, wenn S.M.A.R.T aber schweigt, heißt das im Umkehrschluss nicht, dass die Platte nicht defekt ist.
Bisher kann ich da nur auf gute Erfahrungen zurückblicken und habe die smartmontools generell im Einsatz. Ein plötzlicher Ausfall lässt sich durch SMART sicher nicht vermeiden, da gebe ich Dir Recht. Aber dafür hat man im Ernst- und Idealfall auch ein Backup.
@Luca: "smartctl -a" zeigt hier, dass du noch nie einen Langtest und nur einen einzelnen Kurztest hast laufen lassen. Ich empfehle
smartctl -t long
auf beiden Platten zu starten und grundsätzlich regelmäßige Tests. Ein einzelnes "Completed without error" ist mir zu dürftig.
Bei den Attributen steht zumindest unter Reallocated_Sector_Ct noch eine Null. Die restlichen Angaben weisen auf eine längere Betriebszeit hin, sehen für mich aber nicht kritisch (allerdings auch nicht wirklich schön) aus. Die Gesamtbetriebsdauer beträgt gerade einmal 19.000 Stunden, also im 24/7 Betrieb etwas mehr als 2 Jahre. Ich bin nicht fit im Serverbereich, aber sind 2-3 Jahre hier die Lebensdauer, nach der man Festplatten wechseln sollte? Eine WD Red oder Black ist AFAIK für deutlich mehr ausgelegt (MTBF> 1.000.000 h, Garantiezeit bei 24/7 Betrieb 3-5 Jahre). Vielleicht hat dein Provider ja Erfahrungen mit deinem Plattentyp, die seine Vermutung begründen?
VG Daniel
"Daniel Leidert" Daniel.Leidert.Spam@gmx.net schrieb:
Hallo Daniel!
Bisher kann ich da nur auf gute Erfahrungen zurückblicken und habe die smartmontools generell im Einsatz. Ein plötzlicher Ausfall lässt sich durch SMART sicher nicht vermeiden, da gebe ich Dir Recht. Aber dafür hat man im Ernst- und Idealfall auch ein Backup.
Backup ist zum Glück vorhanden! :)
@Luca: "smartctl -a" zeigt hier, dass du noch nie einen Langtest und nur einen einzelnen Kurztest hast laufen lassen. Ich empfehle
smartctl -t long
auf beiden Platten zu starten und grundsätzlich regelmäßige Tests. Ein einzelnes "Completed without error" ist mir zu dürftig.
Ja, ich muss ganz ehrlich sagen, dass ich damals, als ich den Server eingerichtet habe, vergessen hatte, SmartmonTool zu installieren, ansonsten wären die Tests immer jede Woche gemacht...
Bei den Attributen steht zumindest unter Reallocated_Sector_Ct noch eine Null. Die restlichen Angaben weisen auf eine längere Betriebszeit hin, sehen für mich aber nicht kritisch (allerdings auch nicht wirklich schön) aus. Die
Kannst du mir erklären, warum sie nicht wirklich schön sind? Das ist genau, was mich interessiert...
Gesamtbetriebsdauer beträgt gerade einmal 19.000 Stunden, also im 24/7 Betrieb etwas mehr als 2 Jahre. Ich bin nicht fit im Serverbereich, aber sind 2-3 Jahre
Der Server wurde vor ~2 Jahre installiert und ist, selbstverständlich in 24/7 Betrieb. Ich wusste überhaupt nicht, dass man die Festplatten alle 2-3 Jahre wechseln muss... Da der Server Festplatten in RAID1 hat, würde ich prinzipiell bis zum Probleme warten und dann die Festplatte tauschen, denkt ihr nicht? Einfach den Provider sagen "kannst du uns bitte neue Festplatten geben, weil sie alt sind, obwohl noch ohne Probleme" klingt mir etwas komisch. Und der Provider wird vermutlich auch sagen, dass ich bis zum Problem warten soll...
hier die Lebensdauer, nach der man Festplatten wechseln sollte? Eine WD Red oder Black ist AFAIK für deutlich mehr ausgelegt (MTBF> 1.000.000 h, Garantiezeit bei 24/7 Betrieb 3-5 Jahre). Vielleicht hat dein Provider ja Erfahrungen mit deinem Plattentyp, die seine Vermutung begründen?
Keine Ahnung! Ich werde ihn fragen.
Grüße und danke Luca Bertoncello (lucabert@lucabert.de)
Luca Bertoncello schrieb:
Hallo Daniel!
Bei den Attributen steht zumindest unter Reallocated_Sector_Ct noch eine Null. Die restlichen Angaben weisen auf eine längere Betriebszeit hin, sehen für mich aber nicht kritisch (allerdings auch nicht wirklich schön) aus. Die
Kannst du mir erklären, warum sie nicht wirklich schön sind? Das ist genau, was mich interessiert...
Es gibt eine gute Beschreibung der Wertbedeutung. Wikipedia hat recht gute Informationen und irgendwo gibt es auch eine freie Doku.
http://en.wikipedia.org/wiki/S.M.A.R.T.
Hinweise auf ein Sterben könnten sein, wenn der SMART-Test einen Fehler meldet oder wenn die Anzahl der Sektoren unter Reallocated_Sector_Ct - also der auf der Platte ausgefallenen/"toten" Sektoren - steigt. Auf meachanische Alterung deuten u.a. Spin-Up Time (Zeit von Null bis volle Umdrehung in Millisekunden) und Spin Retry Count (Anzahl der Versuche, bis die vollen Umdrehungen erreicht wurden, falls der Versuch davor nicht erfolgreich war) hin. Dein Start/Stop-Count ist jedoch kaum der Rede wert. 22x wurde die Platte eingeschaltet oder aus dem Sleep-Mode geholt. In >2 Jahren ist das gar nichts. Die mechanische Belastung wird bei dir also eher durch den Dauerbetrieb charakterisiert und erklärt mutmaßlich die guten bzw. fehlenden Werte bei den beiden vorher genannten. Da sehen viele NAS-Platten wahrscheinlich "schlimmer" aus.
Deine Platte zeigt jedoch ungewöhnlich hohe Werte bei Seek_Error_Rate und Raw_Read_Error_Rate bzw. Hardware_ECC_Recovered. Ich kann mich entsinnen, bei meinen Seagate-Platten das auch schon gesehen zu haben. Gerade las ich aber [1,2]; scheint also nicht tragisch, sondern für Seagate-Nutzer nur verwirrend zu sein :)
[1] http://sgros.blogspot.de/2013/01/seagate-disk-smart-values.html [2] http://www.users.on.net/~fzabkar/HDD/Seagate_SER_RRER_HEC.html
Wenn das hier Geschriebene stimmt, dann ist die Fehleranzahl bei dir gleich Null bei bisher 783990676 Versuchen. Vielleicht vergleichst du es mal mit anderen Festplatten aus deiner Umgebung?
Ich wusste überhaupt nicht, dass man die Festplatten alle 2-3 Jahre wechseln muss...
Das habe ich nicht gesagt, sondern gefragt. I.d.R. wird ja auch in Rechenzentren regelmäßig Hardware erneuert. Wie oft, das war meine Frage.
VG Daniel
lug-dd@mailman.schlittermann.de
-
Andreas Kretschmer -
Daniel Leidert -
Luca Bertoncello -
Ronny Seffner -
Thomas Schmidt