Lukas Beeler's IT Blog

Layer One has failed me again.

Power is down again for one row of racks, hosting the DATALINE machines – Sylon’s machines are, obviously, not affected. Outage started at 20:48, or so says Nagios. The Layer One people are already working on the issue, but i do wonder how do managed to get it this unreliable. Three consecutive power failures in one and a half day.

UPDATE:

Power is back at 22:10. Now back to repairing MyISAM tables.

UPDATE:

Power went down for all racks at about 23:00. There was a short time with power avaiable at approximately 23:02, some machines completed their power on cycle, but wasn’t long enough for Nagios to notice. It’s back up now at 00:45.

This makes it 5 consecutive power failures.

Nine Status Ticket offers some more insight into this problem. I’ve had Init7 Pikett on Phone two times, (at the first and the second major interruption), but they told me they didn’t know what happened.

Um 23:00 Uhr stellten wir einen generellen Unterbruch des Standorts Letzigraben fest. Techniker waren in weniger als 10 Minuten vor Ort und trafen einen vollständigen Stromausfall aller Räume – TIC und LayerOne – an.

Nach ersten Erkenntnissen hat eine Stromleiste in dem Raum der LayerOne einen Kurzschluss ausgelöst, welcher zu einer Störung der USV-Anlage führte. Dies wiederum führte zu einer Abschaltung der gesamten Stromversorgung.

Um 00:32 Uhr konnte die Stromversorgung wieder in Betrieb genommen werden. Sämtliche Systeme wurden erfolgreich überprüft. Sollte ein Dienst wider Erwarten nicht funktionieren, so nehmen Sie bitte mit uns Kontakt auf.

Wir möchten uns für die Unanehmlichkeiten entschuldigen. Der Rechenzentrums-Betreiber TIC hat auf Freitag, den 23.02.07 eine Stellungsnahme in Aussicht gestellt. Sobald wir diese erhalten, werden wir weitere Details über diese Plattform kommunizieren.

Update 23.02.2007 04:39: Im Raum der LayerOne fiel im Verlauf des 22.02.2007 eine 64A Sicherung einer ganzen Stromschiene aus. Ein Techniker hat dann ohne irgendwelche Massnahmen versucht, die Schiene wieder einzuschalten. Beim ersten mal war dies erfolgreich, nach dem zweiten Anspringen der Sicherung am Abend hat der Techniker erneut versucht, die Sicherung wieder einzuschalten. Leider hat der Techniker nicht gewusst, dass solche Schienen (alle Schienen dieses Typs wurden im TIC Raum nach Druck von Nine.ch ersetzt) durchschmoren koennen. Beim wiedereinschalten war die Schiene schon so stark geschmort, dass dies zu einem Kurzschluss gefuehrt hat, welcher durch die naechst groessere Sicherung vor der USV abgefangen wurde. Durch diesen Vorgang wurde die Verbindung zwischen USV und Dieselgenerator getrennt, weshalb um 23:00 der Strom fuer 2 Sekunden ausfiel und das Haus auf USV Betrieb umschaltete. Weshalb dieser 2 Sekunden lange Ausfall auftritt, ist noch nicht klar. Nach rund 6 Minuten USV-Laufzeit waren die Batterien leer und das ganze Haus offline. Nine.ch war sehr schnell klar, was das Problem war. Leider hat der Pikettdienst der Swisscom/Simag knappe 1h20 gebraucht um vor Ort zu kommen (war mit Taxi in angetrunkenem Zustand gekommen) damit er den Zugang zur Hauptverteilung gewaehren konnte um die Sicherung wieder einzuschalten!

Heute 23.02.2007 findet eine Sitzung der Mieterparteien im Haus statt um diese unbefriedigende Situation raschmoeglichst zu verbessern.

UPDATE:

Nine edited their ticket and removed the references to the drunk technician from Swisscom/Simag.