Serverausfall am 26.09.2011

[Franz]

Liebe Mitglieder, liebe Mitleser,

heute Nachmittag ist unser Server für ca. 1 Stunde komplett ausgefallen, alle Webseiten von uns waren nicht erreichbar
Ich habe es schnell bemerkt, weil ich gerade einen über 30 Minuten verfassten Beitrag abschicken wollte - weiße Seite

Danach habe ich unser Server-CP geprüft, aber da war nichts ungewöhnliches. Auch unsere "Lass das Gras"-Seiten waren nicht erreichbar, alle Domains von uns platt!
Darauf wollte ich den Support telefonisch benachrichtigen, aber da lief dann schon eine Bandansage, dass es Probleme gibt und viele Server sowie Webseiten nicht erreichbar wären, es würde daran gearbeitet.
Ich hab noch per Mail um eine Stellungnahme gebeten, aber wichtig ist nun, dass alles wieder läuft.

Ich hoffe es ist nicht mehreren so wie mir ergangen und die Ausfallzeit war nicht so tragisch.

Wenn ihr Fragen habt, Fehler entdeckt habt, dann erstellt bitte einfach ein eigenes Thema mit passendem Präfix im Kritik/Anregungen/Fragen zum Forum&Chat-Board!

LG Franz

[Franz]

Wie man sieht, der Server läuft natürlich wieder, doch war das Ding ja noch ein 2. mal platt.

Mittlerweile gibt es auch eine Stellungnahme von 1und1 und die will hier hier noch nachreichen ....

Sehr geehrte Damen und Herren,

durch einen Softwarefehler kam es gestern zwischen 15 und 17.30 Uhr und erneut zwischen 20 und 23 Uhr zu einer fehlerhaften Netzwerk-Konfiguration bei den Dedicated, Virtual und Dynamic Cloud Servern unserer Kunden. Dadurch waren diese Server vorübergehend nicht im Internet erreichbar.

Die weitaus größere Anzahl von Kunden mit Hosting-Paketen (Shared/Dual-Hosting/Cloud/Do-It-Yourself) war nicht von dieser Störung betroffen, ebensowenig wie alle DSL-, Mobilfunk-, Telefonie- und Mail-Kunden.

Die Netzwerkeinstellungen werden in einer zentralen Sybase-Datenbank verwaltet. Insbesondere bei unseren Dedicated Servern ändern sich diese Einstellungen häufig, etwa beim Ändern von Firewall-Einstellungen. Diese Änderungen müssen allen Netzwerkkomponenten (Router, Switches) mitgeteilt werden. Vor ca. einem Monat haben wir eine so genannte Middleware installiert, die in regelmäßigen Abständen die Einstellungen der Datenbank abfragt und zentral an die Netwerkkomponenten verteilt.

Dieses System lief bis gestern reibungslos. Gestern hatte der Sybase-Server eine hohe Last und entsprechend verzögerte Antwortzeiten. Durch einen Fehler in der Middleware, einem so genannten Sybase:BI Connector, interpretierte die Software die lange Wartezeit als "leere" Antwort und überschrieb so die Netzwerkeinstellungen der Router und Switches in unseren Server-Segmenten.

Nachdem der Fehler identifiziert war, mussten die korrekten Netzwerkdaten zunächst manuell wiederhergestelt werden. Gleichzeitig haben wir vorübergehend die automatische Datenbankabfrage durch die Middleware gestoppt. In dieser Zeit waren keine Änderungen an Firewall-Einstellungen und Einrichtung neuer IP-Adressen möglich.

Damit eine solche Störung nicht mehr auftreten kann, haben wir den zusätzliche Prüfroutinen in unserem Netzwerk implementiert, die den aufgetretenen Fehler verhindern. Änderungen an den Netzwerkeinstellungen sind im 1&1 Control Center nun wieder möglich, werden aber aufgrund der Prüfmechanismen erst mit ca. 15 Minuten Verzögerung aktiviert.

Gleichzeitig befinden wir uns in Gesprächen mit dem Softwarehersteller, um die Fehler in der Middleware schnellstmöglich zu beheben.

Für die entstandenen Unannehmlichkeit bitten wir um Entschuldigung.

Wenn es für die Zeit auch nicht entschädigt, trotzdem ist es wenigstens zu dieser Entschuldigung gekommen.

Hoffen wir das es nicht mehr vorkommt

LG Franz