Shutdown - aber pronto
Wo soll ich anfangen - das war wieder so ein Nachmittag wie er im Buche steht - in Murphys Gesetzbuch …
Begonnen hat das Schlamassel mit einem Anruf warum das Internet nicht mehr geht - OK - kein Problem, wird der Proxy mal wieder klemmen (Das hatten wir doch hier schonmal oder??)
Also Proxy kontrolliert - der loooft.
Surfen ohne Proxy probiert - looft nicht. Nanü - wieder der Provider?? …
… neee die Firewall hat sich abgeschaltet !! Mooooment - die Firewall hat sich runtergefahren???
Nun war ich ja gerade mit einem externen Techniker dran - eine Testinstallation der Neuen A….o FW mit “Activ/Activ High Avaliability - Cluster ich fall nicht mehr aus und koch noch nen Kaffee nebenbei Technologie” einzurichten und haben diese gerade heruntergefahren. Diese hat aber mit der heißen Firewall nun gar nichts zu tun - außer das sie mit einem Beinchen in einer DMZ der heißen Maschine hängt. Hat mein Techniker die falsche runtergefahren??
Anscheiß - Kontrollier - Mecker - nochmal Kontrollier - nee, er hat die richtige rebootet.
Also fahren wir die Firewall wieder hoch - und siehe da das Internet geht wieder. Nun schau ich dem Spezialisten aber genau über die Schulter:
Wieder ein Shutdown der Testinstallation - und ich traue meinen Augen nicht - die Heiße Firewall meldet locker fröhlich “Send Term Signal to all Proc … System halted” !!!
So blöd hab ich schon lange nicht mehr aus der Wäsche geguckt.
Nochmal den Test - es klappt einfach äußerst zuverlässig. Wenn ich den Firewallcluster der Testinstallation runterfahre, macht auch die heiße Maschine einen sauberen shutdown - obwohl sie nichts mit der Testmaschine gemeinsam hat. Sogar einen Reboot mit dreifachem Rittberger legt sie sauber in die Bits!!
Auf den Anruf beim Support des Firewallherstellers freu ich mich schon … Morgen dann…
Aber den Reboot hätten wir wohl nicht testen sollen - in dem Moment gehen nämlich 5 andere Server samt EMC-Array im SAN aus. BINGO!!
In dem Moment hab ich dann wohl den Gesichtsausdruck von vorhin nochmal ziemlich getoppt. Was ist das denn für eine Schei…
… Notaus an der Testinstallation der Firewall - das Ding ist mir Unheimlich. Alle Stecker raus - das Teil geht sonst womöglich noch ohne Strom. Und nu schaunwama … (Im Display des Telefons seh ich so nebenbei, das in meinem Büro die Telefone heiß laufen - warum blos??
…
So - die EMC-Kiste ist tot - nicht nur tot - mausetot. Kein Lichtlein, kein Lämplein, keine Reaktion auf Reanimationsversuche. Aber Strom ist doch da !? Drumrum läuft doch alles! (Der Support verspricht erstmal einen Rückruf…)
(Inzwischen im USV-Raum) - Die USV läuft, keine Fehler. Die Sicheru.. - ha da ist der Übeltäter. Schnipp Ein - Schnapp - aus. OK - ich zieh erstmal von den betroffenen Stromkreisen alles ab. Schnipp ein - bleibt ein STRIKE!
EMC ran - sie tut!! (Der Support ruft jetzt zurück, und bestätigt mir das auch - geil oder) Die restlichen Maschinen test ich nun sicherheitshalber erstmal an anderen Stromkreisen - und schon beginnt das Schnippschnapp-Spiel wieder von vorne. Schon langsam wieder etwas ruhiger (das SAN läuft: alle Daten sind wieder online) diagnostizier ich dann ein defektes Netzteil, das sehr zuverlässig das Schnapp beherrscht und sich von meinem Schnipp einfach nicht mehr beeindrucken lässt.
Warum die EMC mit all Ihren redundanten Netzteilen ausgerechnet in diesem Stromkreis hing klär ich dann demnächst mit den Spezialisten die das Ding angeklemmt haben. Wie die Testinstallation der Firewall das Netzteil kleinbekommen hat werd ich wohl nie rausbekommen … BITTE KLÄRT MICH AUF !!
PS: Ach so fast vergessen: zwischendurch noch ein verzweifelter Anruf, das das Dokumentenmanagement-System nicht funktioniert. Nun wundert mich garnichts mehr. Warum soll denn nicht noch ein völlig autarkes System den Geist aufgeben …?
Eins steht für mich jetzt fest - Bei dieser Firewall ist zumindest eines sicher: Murphy lebt !!
Nachtrag: Ist das noch zu Toppen?? Ja? Auf dem Heimweg dann “Allgemeine Fahrzeugkontrolle …” - und der hat wirklich jedes Pflaster einzeln aufs Ablaufdatum kontrolliert. Wenn die Großbeerenstraße überdacht wäre - ich hätte unter der Decke geschwebt …
10. November 2007 um 09:07
Einfach genial die Story. Kenne solche Szenarien nur zu gut, hatten @ work mal so nen geilen Elektriker, der nur mal kurz im Sicherungsschrank ne neue Leitung anklemmen wollte. Erstmal neben der neuen Sicherung die andere Sicherung rausgedreht und geguckt wie stark die ist ^^ Resultat –> die Hälfte der EDV Abteilung flucht, da kein Strom mehr da.
Er schraubt die Sicherung wieder rein, alle fahren ihre Workstations wieder hoch, er ist sich nicht ganz sicher ob er jetzt die neue mit der alten Sicherung vertauscht hat und schraubt die gerade erst wieder eingeschraubte Sicherung wieder raus, glücklicherweise (für ihn) hat er es dann endlich auf die Reihe gekriegt, die Sicherungen beide reinzudrehn und auch drinzulassen, sonst hätte ihn mein kolerischer Kollege garantiert in der Luft zerissen. Der kochte nämlich schon sichtlich und war mal wieder kurz davor … :o)
14. April 2010 um 20:13
Also ich kenn da einen (Physiker von Beruf), der hat bei einem Kunden eine UPS angeschlossen. Und weil der Fehlerstrom zu groß war, hat natürlich der FI ausgelöst. na ja, was macht man da: man überbrückt einfach den FI. Er hat das natürlich unter Spannung gemacht und nicht daran gedacht, dass hier 20 PC laufen und 2 Server.
Also einfach eine Kurzschlussbrücke drüber genagelt, und wird schon gehen. Aber: es kam anders. Er hat nicht bedacht, dass man in solchen fall den Null-Leiter als ersten brückt, und dann die Phasen. Eigentlich fährt man vorher alles runter…
In dem Moment, wie die erste Phase die Brücke drin hatte, hat es auch schon geknallt. der FI ist rausgeflogen und nun wurde nur eine Phase durchgereicht. Von 20 PCs sind mehrere einfach ausgegangen, ein paar für immer, die Server tot…
Es hat Tage gedauert bis alles wieder lief,- Datenrettung usw. halt der ganze Rattenschwanz. Und das nur weil es einer besser wusste und den Leuten die 10 Minuten Pause nicht gönnen wollte.