Die abgesicherte Notstromversorgung wurde zum Mertürium

Ein Kunde den wir letzten Sommer das erste mal über unseren Unix Security Workshops kennenlernten, rief kurz vor Weihnachten spät am Abend an, um von unseren IT Experten Unterschützung anzufordern. Es seien wichtige Kundendaten verschwunden. Nach einem ersten Gespräch mit dem IT-Leiter wurde uns berichtet, dass ein 220V Spannungausfall um 10:20 Uhr war. . Die Notstromversorgung war ihrer Aufgabe gerecht geworden. Alle waren zufrieden und wogen sich in Sicherheit, da ja auf die Technik verlass wäre. Der Wartungsplan des Sicherheitsherstellers wurde ordnungsgemäß wahrgenommen und man hatte extra noch vor kurzem die Notstromversorgungen erweitert.  Doch Plötzlich fing die rote Warnlampe an zu blinken. Warum das? – 30 Minuten waren vergangen und die Spannungsversorgung vom Netzanbieter war noch immer nicht wieder da.

Kurze Zeit später wurden die Monitor dunkel; es wurde ruhig wie vor einem Sturm. Die PC´s und Server standen still. Als knapp zwanzig Minuten später der Strom wieder da war, wurde es nur für sehr kurze Zeit hell. Die Sicherungen flogen raus. Die FI-Schalter hatten regiert. Alle Geräte waren ja noch eingeschaltet gewesen und es war eine zu große Einschaltspannungsspitze. Nachdem die Arbeitsplätze erst einmal ausgeschaltet wurden, gingen alle Server wieder in Betrieb. Auch die erst vor kurzen an die neue Notstromversorgung angeschlossenen Router und Switches fingen an zu blinken. Alles schien in Ordnung zu sein. Doch da, - was war geschehen! Mitarbeiter riefen aus anderen Apteilungen an, weil sie keine Verbindung zu Daten-Server bekamen. Andere konnten sich nicht mehr einloggen. Die Niederlassung in München konnte über das sichere  VPN nicht erreicht werden. Warum?

Nach dem langen Spannungsausfall funktionierte nur  die ISDN Telefonanlage. VOIP ging nur intern.

Schon kurze Zeit später waren unsere Spezialisten vor Ort. Sie stellten fest, dass die MAC Listen in den Switchen nicht redundant und richtig hierarisch im Netz verteilt waren. Die MAC-Adressen-Listen wurden nicht in den Switchen automatisch gesichert. Nachdem wir in zeitlich logischer Reihenfolge die Switche in Betrieb nahmen, war das interne Datennetz wieder funktionsfähig. Gemeinsam mit der IT-Leitung programmierten wir den CISCO Internet Router neu, weil im Router die Konfiguration des flüchtigen Speicher nicht auf die Speicherkarte gesichert wurde.

Der  Shared Directory Service wurde aufgebaut. Jetzt war der gesamte Schaden sichtbar. Damit hatte niemand gerechnet... Die Kundendaten waren inkonsistent und die Datensätze hatten zum Teil einem veralterten Stand

Wichtige Kundendaten waren für immer verloren.

Die letzte Datensicherung der SQL Datenbank wurde nachgeladen. Es gab noch nie einen Totalausfall. Niemand hatte praktisch diesen Fall durchgespielt. Bei Ebay kostet eine  Stunde IT-Ausfall ca. 230.000 USD.

Was kostet Sie ein Tag ohne IT?