Horrorwochende - das schlimmste meines Lebens

legolas

15 Jahre Mitglied
So, im Momemt bin ich ziemlich erschöpft, nerven sind gerade so am beruhigen, langsam komme ich wieder runter, was war passsiert.

Da muss ich ein wenig ausholen, das komplette Mailsystem unserer Firma habe ich konzipiert, als Platten system ein EMC Raid mit Raid5 Hotspar usw. , für die Nichtechniker , schweineteuer dafür praktisch unkaputtbar, als Filesystem das ZFS von Sun, Originalzitat von Sun:
"ZFS has benn subjectet to over a million forced, violent crashes without losing data integrity or leaking a single block"

Für die Nichtechniker, die Software die wir zum speichern der Mails verwenden ist millionfach mit brutaler Gewalt abgestürzt worden und nie ist nur ein einziges Bit verschwunden.

Da das ganze eh nicht auf Band passt habe ich Sicherungen direkt auf dem Raid gemacht, ist ja alles sicher, kann nicht passieren, doppelte und dreifach gesicherte Platten und ein unkaputtbares Filesystem.


So Freitag abend wollte ich wie üblich meine Mails abfragen, ging nicht, probierte es nach einigen Minuten wieder ging immer noch nicht, langsam wurde mir mulmig, ich rief in der Firma an, und eine Kollege sagte mir, Mail ist abgestürzt und das unkaputtbare Filesystem ist kaputt. So nun war die Kacke am Dampfen, Sicherungen war ja auf dem unkaputtbaren Filesystem das kaputt war.

Mir wurde gleich kotzübel, im Prinzip waren alle Mails der Firma weg, und ich war verantwortlich, ihr könnt euch nicht vorstellen wie mir zumute war, es war wie in einem Albtraum, wir haben alles probiert alle Tricks , Software Experten gefragt, ich habe jetzt 2 Tage nix gegessen und kaum geschlafen. Seit Freitag abend bis heute Abend stand ich unter Strom, morgen kommen die Mitarbeiter und denen kannst du erzählen das alle Mails weg sind.

Der Durchbruch kam heute Abend, durch einen Hinweis eines SUN-Software Ingenieurs konnten wir alle Mails retten. Morgen läuft die Sache wieder. Irgendwie kann ich mich aber noch nicht so recht freuen, ich bin immer noch ziemlich unter Strom.
 
  • 17. Juni 2024
  • #Anzeige
Hi legolas ... hast du hier schon mal geguckt?
  • Gefällt
Reaktionen: Gefällt 33 Personen
#VerdientProvisionen | Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.
Oh je, vorstellen kann ich mir ein wenig wie du dich gefühlt hast :( Wobei ich es wahrscheinlich nicht so ganz nachvollziehen kann, da ich einfach keine so große Verantwortung habe ;)

Dennoch sollte man sich so etwas nicht sooooo sehr zu Herzen nehmen, dass man gesundheitlich zurücksteckt und das hast du mit 2 Tage nicht essen und schlafen. :(

Sei froh, dass es überstanden ist :)
 
Krass, da hast gute Andrenalinkicks bekommen.
Super, das alles noch da ist, und wieder funzt.
 
Aeh, dass ich das richtig verstehe: Du hast die Mailboxen und die DaSi auf demselben Filesystem abgelegt?

Dass heutige Datenvolumina nicht mehr auf Baender passen ist ja nicht unueblich. Aber dann wuerde ich die doch zumindest auf ein anderes Volume sichern (und dass ausserhalb der Backup-Laufzeiten abhaengen).

Ich kenne von den Interna nur die Filer von NetApp (bzw. die FastT von IBM). Ist zugegebenermassen als NAS was Anderes als die EMC, aber auch die EMC wird doch sowas wie Snapshots anbieten.

Noch'n Tip bzgl. ZFS: auf wieviele Devices habt Ihr die Filesysteme verteilt? Wenn Du nur ein Device von der EMC direkt 1-zu-1 auf ein Filesystem mappst, dann kann zfs da auch nicht viel machen. Die Sicherheit kommt erst durch die Redundanz. Also mindestens 3 Devices, genau wie bei Raid5.

Lustig ist das IT'ler Leheben Faria-Faria-Hoh ;)
 
Nachtrag: 'mal 'ne Demo, was mit zfs geht

 
Aeh, dass ich das richtig verstehe: Du hast die Mailboxen und die DaSi auf demselben Filesystem abgelegt?

Dass heutige Datenvolumina nicht mehr auf Baender passen ist ja nicht unueblich. Aber dann wuerde ich die doch zumindest auf ein anderes Volume sichern (und dass ausserhalb der Backup-Laufzeiten abhaengen).

Ich kenne von den Interna nur die Filer von NetApp (bzw. die FastT von IBM). Ist zugegebenermassen als NAS was Anderes als die EMC, aber auch die EMC wird doch sowas wie Snapshots anbieten.

Noch'n Tip bzgl. ZFS: auf wieviele Devices habt Ihr die Filesysteme verteilt? Wenn Du nur ein Device von der EMC direkt 1-zu-1 auf ein Filesystem mappst, dann kann zfs da auch nicht viel machen. Die Sicherheit kommt erst durch die Redundanz. Also mindestens 3 Devices, genau wie bei Raid5.

Lustig ist das IT'ler Leheben Faria-Faria-Hoh ;)

:lol: :lol::lol:

Ich hab´s jetzt 5 !!!! mal gelesen und ich versteh kein WORT...
Ich hab nicht den blassesten Schimmer was du damit sagen wilst... das könnte auch ne verschlüsselte Anleitung zum Bombenbau sein... :hö:
:lol:
 
Seltsam - mein Mann arbeitet bei Netapp und sagt immer nur deren Filer sind unkaputtbar ;)
stimmte bisher auch immer.
 
Aeh, dass ich das richtig verstehe: Du hast die Mailboxen und die DaSi auf demselben Filesystem abgelegt?

Dass heutige Datenvolumina nicht mehr auf Baender passen ist ja nicht unueblich. Aber dann wuerde ich die doch zumindest auf ein anderes Volume sichern (und dass ausserhalb der Backup-Laufzeiten abhaengen).

Ich kenne von den Interna nur die Filer von NetApp (bzw. die FastT von IBM). Ist zugegebenermassen als NAS was Anderes als die EMC, aber auch die EMC wird doch sowas wie Snapshots anbieten.

Noch'n Tip bzgl. ZFS: auf wieviele Devices habt Ihr die Filesysteme verteilt? Wenn Du nur ein Device von der EMC direkt 1-zu-1 auf ein Filesystem mappst, dann kann zfs da auch nicht viel machen. Die Sicherheit kommt erst durch die Redundanz. Also mindestens 3 Devices, genau wie bei Raid5.

Lustig ist das IT'ler Leheben Faria-Faria-Hoh ;)

:lol: :lol::lol:

Ich hab´s jetzt 5 !!!! mal gelesen und ich versteh kein WORT...
Ich hab nicht den blassesten Schimmer was du damit sagen wilst... das könnte auch ne verschlüsselte Anleitung zum Bombenbau sein... :hö:
:lol:


*ggg* Hauptsache ich verstehe es ;))
 
Seltsam - mein Mann arbeitet bei Netapp und sagt immer nur deren Filer sind unkaputtbar ;)
stimmte bisher auch immer.

'mal abgesehen davon, das *NIX* unkaputtbar ist, bei hinreichend krimineller Energie :eg: hab' ich ja auch garnix gegen Netapp gesagt, sondern die nur zu'nem Feature-Vergleich herangezogen. :hallo:

Edit: Wobei es mir ebenfalls fern liegt, was gegen EMC zu sagen. Oder Hitachi, oder IBM... Rock-Solid sind die alle, aber shit happens...
 
So die Kiste läuft wieder ;))

Gratuliere! Hast du dich die letzten Tagen umsonst so verrückt gemacht.

Aber ich kann es voll verstehen und mir halbwegs vorstellen, wie immens die Belastung für dich war.

Dann vergiss aber jetzt nicht, dich gut von dem Schock zu erholen.

Liebe Grüße

Anke mit Caro
 
Danke für die lieben Grüsse an alle.

@PerlRonin, jo Snapshots,Raid5 usw. habe ich natürlich gemacht, und kenne die ganze Problematik, aber aus unseren Randbedingungen war halt jetzt nicht mehr möglich, ist immer eine Frage der Kohle die man zur Verfügung hat.
 
Naja, das mit der Kohle ist so'ne Sache. Zumindest solltest Du jetzt 'ne Handhabe gegenueber der GF haben, damit die 'mal ein bisschen Etat rausruecken, und sei's nur um den Storage fuer das Mail-Filesystem auf der EMC fuer's Backup mindestens zu verdoppeln, eher zu vervierfachen (ein halbes Dutzend inkrementelle Sicherungen plus 2-3 Vollsicherungen).

Alternativ, damit Du gut schlaefst: Ein Plug&Play NAS-System mit 'nem Terrabyte Storage bekommst Du mittlerweile fuer ca. 250 EUR. Das ist zwar nix, womit Du Dich an Firmenstandards haeltst, aber es beruhigt ungemein. Und wenn Du zwei von den Dingern hast, kann immer eines Off-Site irgendwo in den Safe gepackt werden.

Ist immer dasselbe. Die Leute wollen Big-Business spielen, holen sich EMC und Konsorten in's Haus, wollen dann aber die nicht unerhebliche Kohle fuer's Gigabyte ja nicht fuer Reserven anlegen, und die Techniker duerfen's dann ausbaden...
 
PS: Und lass' Dich nicht abwimmeln mit dem Argument, 'ne Externe Platte sei 'ne "Bastelloesung". Wenn's Dir den Allerwertesten retten kann, dann sollte das 'drin sein, zumindest bis die Entscheidungstraeger ihr Ei gelegt haben, die Beschaffung von zusaetzlichen Storage angestossen haben, Vertraege erweitert haben, und, und, und.

In der Zeit warst Du 10x bei KM-Elektronik oder sowas und hast Dir'n NAS aufgebaut.
 
PerlRonin schrieb:
Ist immer dasselbe. Die Leute wollen Big-Business spielen, holen sich EMC und Konsorten in's Haus, wollen dann aber die nicht unerhebliche Kohle fuer's Gigabyte ja nicht fuer Reserven anlegen, und die Techniker duerfen's dann ausbaden...

Das hab ich verstanden! :lol:

Und das hier auch..

Aeh, dass ich das richtig verstehe: Du hast die Mailboxen und die DaSi auf demselben Filesystem abgelegt?

Dass heutige Datenvolumina nicht mehr auf Baender passen ist ja nicht unueblich. Aber dann wuerde ich die doch zumindest auf ein anderes Volume sichern (und dass ausserhalb der Backup-Laufzeiten abhaengen).
*stolz bin*

*mich erinner, dass ich immer noch nix gesichert hab hier*

*Panik schieb*

Ach so - das wichtigste hab ich vergessen:

Für Legolas.

Bett-und-Badewannen-Smileys gibt's ja keine, also

Was du jetzt wirklich brauchst, ist ein

:keks:

Mitfühlende Grüße,

Lektoratte
 
Danke für die lieben Grüsse an alle.

@PerlRonin, jo Snapshots,Raid5 usw. habe ich natürlich gemacht, und kenne die ganze Problematik, aber aus unseren Randbedingungen war halt jetzt nicht mehr möglich, ist immer eine Frage der Kohle die man zur Verfügung hat.

Nachtrag:

Raid5 hilft Dir natuerlich garnix, wenn das darauf liegende zfs durch Softwarebug korrupt wird. Aber war denn der Snapshot auch verloren? Der haette doch tun sollen.

Merke: Ungetestete Backups sind keine ;)
 
@Perl Ronin - die Erweiterung des Raids sollte ja schon lange da sein, aber aus Gründen die ich hier nicht darlegen kann, hat sich die Sache um 3 Monate verzögert, und da gibt es dann ein ZFS Backup in ein anderes Filesystem.
 
Danke für die lieben Grüsse an alle.

@PerlRonin, jo Snapshots,Raid5 usw. habe ich natürlich gemacht, und kenne die ganze Problematik, aber aus unseren Randbedingungen war halt jetzt nicht mehr möglich, ist immer eine Frage der Kohle die man zur Verfügung hat.

Nachtrag:

Raid5 hilft Dir natuerlich garnix, wenn das darauf liegende zfs durch Softwarebug korrupt wird. Aber war denn der Snapshot auch verloren? Der haette doch tun sollen.

Merke: Ungetestete Backups sind keine ;)

Das Kernproblem war, das auf dem ZFS 2 korrupte Dateien ware, die völlig belanglos waren, aber aus diesem Grund lies sich das Filesystem nicht mehr mounten den das Solaris stieg beim Mountversuch mit Panic aus. Interesanterweise konnten wir das ZFS importieren und es war online, auch ein Scrub lief problemlos durch, brauchte aber 24 Stunden, aber beim mounten - Panic.

So konnten wir die korrupten Dateien nicht weglöschen, also ging erstmal eine Patch-Orgie los, dann konnten wir es mit read-only mounten, was schonmal beruhigend waren und danach dann im RW, dann löschen der korrupten Dateien, aber beim Versuch das Mailsystem zu starten - wieder Panic.

Interessanterweise zeigte der ZFS Status nicht mehr die korrupten Dateien an sondern 2 Inodes in Hex. Wir stellten fest, das diese Inodes genau die der 2 Dateien waren, aber die waren ja weg, und ein "find -inum" fand auch nix. Dann kam uns die Lösung, und zwar hingen die korrupten Inodes auch noch in den Snapshoots, tscha ein Snapshoot ist halt read-only, also haben wir dann die Snopshoots mit ZFS destroy gelöscht und dann gings.

Das ist so die kurzzusammenfassung, was wahnsinnig Zeit kostete waren die Prüfläufe patchereien, Sun-Service etc. - das machte die ganze Sache so nervig.
 
Wow, danke fuer die Zusammenfassung. Ich find's immer wichtig, wenn man von derart bizarren Fehlern zumindest 'mal gehoert hat. Wer weiss, wofuer's 'mal nuetzlich ist.
 
Wenn dir die Beiträge zum Thema „Horrorwochende - das schlimmste meines Lebens“ in der Kategorie „Off-Topic“ gefallen haben, du noch Fragen hast oder Ergänzungen machen möchtest, mach doch einfach bei uns mit und melde dich kostenlos und unverbindlich an: Registrierte Mitglieder genießen u. a. die folgenden Vorteile:
  • kostenlose Mitgliedschaft in einer seit 1999 bestehenden Community
  • schnelle Hilfe bei Problemen und direkter Austausch mit tausenden Mitgliedern
  • neue Fragen stellen oder Diskussionen starten
  • Alben erstellen, Bilder und Videos hochladen und teilen
  • Anzeige von Profilen, Benutzerbildern, Signaturen und Dateianhängen (z.B. Bilder, PDFs, usw.)
  • Nutzung der foreneigenen „Schnackbox“ (Chat)
  • deutlich weniger Werbung
  • und vieles mehr ...

Diese Themen könnten dich auch interessieren:

Marcus1104
Danke Nein der bekommt nix mehr zu Fressen :lol:. Ich hab mit nem 27 Kilo Staff gerechnet und nicht mit 34 Kilo Senf-Hund :D Und das schlimme ist , da wird noch was kommen :hmm:
Antworten
28
Aufrufe
2K
Marcus1104
Marcus1104
kerstin+hogan
EInfach schrecklich sowas. Hab zwar nicht den gesamten Artikel gelesen, aber das was ich gelesen hab, hat mir schon gereicht! Das der auch noch weitermachen darf ist unfassbar! :mad:
Antworten
1
Aufrufe
777
asta453
asta453
BullyDana
Ja es geht nur um den Namen,meine Freunde sind keine Prügelknaben,sie wären an dem Tag wahrscheinlich auf ihn los aber ich denke dass der HH dann gar nicht erst auf mich los wäre und mir gehts einfach um den Namen damit ich was in der Hand habe und wenn er sieht dass sich das mehr Leute...
Antworten
38
Aufrufe
3K
BullyDana
BullyDana
Lewis7
da fällt es mir verdammt schwer mich zu beherschen...
Antworten
3
Aufrufe
913
Silviak88
Silviak88
Zurück
Oben Unten