Es wurden außerplanmäßige Systemupdates und Reboots an diversen Servern durchgeführt. Dadurch bedingt kam es zu kurzen Nichterreichbarkeiten jeweils einzelner Systeme.
Im genannten Zeitraum kam es aufgrund von außerplanmäßigen Wartungsarbeiten zur einer Nichterreichbarkeit des Dienstes im AS24940.
Im genannten Zeitraum kam es zur jeweils kurzfristigen Nichterreichbarkeit einzelner Dienste im Rahmen planmäßiger Upgrade-Maßnahmen an vier Servern im AS8972.
Mailversand ist derzeit nur eingeschränkt (verzögert) möglich. Mailempfang ist nicht eingeschränkt.
Wir führen derzeit Wartungsarbeiten (Modernisierung der Hashverfahren) am FTP Server durch. Dadurch kann es vereinzelt zu Loginproblemen von Accounts kommen, wenn diese sich gerade in der Umstellung befinden. Verwenden Sie die neuen Zugangsdaten und Server-Adressen.
Der HA-Storage wurde gekündigt. Daten auf dem Storage wurden durch mehrfaches Löschen und Überschreiben entfernt. Stattdessen kommen für unsere mailserver jetzt separate Hochverfügbarkeitslösung bei einem neuen Dienstleister in einem anderen Rechenzentrum zum Einsatz. Ihre Mailaccounts wurden in den letzten Wochen von uns migriert und können 1:1 weitergenutzt werden.
Leider ist wieder eine Anbindungsstörung des Storage im Primärrechenzentrum aufgetreten. Der Betreiber ist informiert und zur Entstörung angehalten. Storage Anbindung erfolgt derzeit über unseren Notbetrieb aus dem Tertitärrechenzentrum.
Turnusmäßige Änderung des X509 Zertifikats für den imapd und pop3d durchgeführt. Der SHA1-Fingerabdruck lautet: 8E:B0:C1:3D:38:59:42:A7:68:87:6B:25:65:52:15:AB:48:15:57:5C, SHA-256: E6:24:C4:B6:94:20:0E:B5:77:27:0B:00:AD:F7:E2:3C:32:37:81:8C:24:F1:1E:0C:29:B2:B7:75:D7:54:BF:B2. Bei einem erneuten Login werden Sie ggf. von Ihrem eMail-Client daraufhingewiesen und zur Akzeptanz des Zertifikats aufgefordert. Bei Fragen und Hilfestellung zur Einrichtung steht Ihnen die bekannte Servicehotline zur Verfügung. Das Zertifikat ist erneut 3 Jahre gültig. (19.04.2018-18.04.2021)
Turnusmäßige Änderung des X509 Zertifikats für den smtpd mit Seriennummer 00:8E:C7:8B:09:BC:2C:9B:A6 durchgeführt. Der SHA1-Fingerabdruck lautet: 05:9C:E1:FC:B3:77:95:32:D6:FB:08:D5:63:E6:28:21:61:69:51:EC, SHA-256: 8C:E3:6E:4F:50:8E:D7:AD:CB:99:6B:E2:01:38:0D:F9:CC:91:13:B1:94:DF:44:30:09:18:CA:FE:A3:8E:84:2A. Bei einem erneuten Login werden Sie ggf. von Ihrem eMail-Client daraufhingewiesen und zur Akzeptanz des Zertifikats aufgefordert. Bei Fragen und Hilfestellung zur Einrichtung steht Ihnen die bekannte Servicehotline zur Verfügung. Das Zertifikat ist erneut 3 Jahre gültig. (19.04.2018-18.04.2021)
Storage befindet sich derzeit im Notbetrieb über Sekundärrechenzentrum, da im Primärrechenzentrum erneut die Anbindung an den Storage vollständig gestört ist. Der Rechenzentrumsbetreiber erarbeitet eine Lösung.
20.03.2018 20:00 - 21:00Storage wieder in Reguläranbindung in Primärrechenzentrum. Einer Stellungnahme des Rechenzentrumsbetreiberss zufolge, handelte es sich um den aktuellen Kernel Bug 198861 auf dortiger Hardware. Das Problem konnte dort nun mit einem in den upstream kernel übernommenen Patch (commit 3be8828fc507cdafe7040a3dcf361a2bcd8e305b) abschließend behoben werden.
Seitens Primärrechenzentrum andauernde größere Störung bei der Anbindung des Storage. Dadurch starke Beeinträchtigung aller Dienste.
Storage befindet sich weiterhin im Notbetrieb über Sekundärrechenzentrum. Mit Performanceeinbußen ist zu rechnen.
27.02.2018 00:15 - 02:30Storage im Primärrechenzentrum wieder verfügbar. Übergang in Regulärbetrieb erfolgt. Vollständige Re-Synchronisation.
Seitens Rechenzentrum erneut größere Störung bei der Anbindung des Storage. Dadurch waren einzelne Dienste vorrübergehend nicht erreichbar.
Manuelle Umschaltung auf einen eigenen Reserve-Storage in Sekundärrechenzentrum. Dadurch gibt es derzeit Performance-Einbußen.
Seitens Rechenzentrum Probleme bei der Anbindung des Storage. Dadurch waren einzelne Dienste vorrübergehend nicht erreichbar.
Derzeit liegt eine Störung am DNS Service vor.
Aufgrund eines Fehlers im Monitoring und bei der Backup-Rotation kam es zu Problemen bei der Anbindung des Storage. Dadurch waren einzelne Dienste vorrübergehend nur stark verzögert erreichbar.
Aufgrund einer Störung an einem zentralen Router kam es zu einer temporären Nichterreichbarkeit der Server im Primärrechenzentrum.
DDoS-Angriff auf das Primär-Rechenzentrum. Es kommt vereinzelt zu Nichterreichbarkeit von Diensten.
Aufgrund eines Angriffs auf den httpd (DoS) kam es zur temporären Nichterreichbarkeit des Dienstes, sowie zu verringerten Ressourcen für weitere Dienste.
Kurze Nichterreichbarkeit des httpd auf web02.finalmedia.de. Andere Dienste waren zeitweise auch in der Konnektivität eingeschränkt.
Aufgrund einer temporären Störung war der httpd von web02.finalmedia.de kurzfristig überlastet und nicht erreichbar. Andere Dienste waren davon nicht betroffen.
Aufgrund eines DoS-Angriffes kam es zu Einschränkungen in der Erreichbarkeit aller Server im Primärrechenzentrum. Backup-Server und CDN waren davon nicht betroffen.
Aufgrund eines DoS-Angriffes kam es zu Einschränkungen und jeweils kurzzeitigen Unterbrechungen einzelner Server im Primärrechenzentrum. Backup-Server und CDN waren davon nicht betroffen.
Beeinträchtigung in der Erreichbarkeit aller Dienste im Primärrechenzentrum. Sekundäreinheiten erreichbar.
Kurzzeitige Beeinträchtigung in der Erreichbarkeit ist möglich.
Aufgrund von Arbeiten an der technischen Infrastruktur im Rechenzentrum sind Kurzzeitige Beeinträchtigungen in der Erreichbarkeit der Primärdienste möglich.
In dem genannten Zeitfenster fanden planmäßig Wartungsarbeiten für eine Datenmigration der Nutzdaten auf der Storage-Einheit statt. Alle Serverdienste wurden aktualisiert. Desweiteren ist nun pro System ein aktualisiertes Verschlüsselungsverfahren auf Dateisystemebene, sowie je eine zusätzliche über VLAN angebundene Gigabit NIC aktiv. Diese verbessert Datenschutz und Performance gleichermaßen.
Desweiteren wurde auf dem neuen System ein aktueller Kernel, IPv6 und eine aktuellere PHP-Version aufgesetzt. Es kam während den Wartungsarbeiten zu kurzfristiger Nicht-Erreichbarkeit der einzelnen Dienste. Ein- und ausgehende eMails wurden verzögert zugestellt.
Im genannten Zeitraum finden/fanden planmäßige Wartungsarbeiten im Sekundärrechenzentrum an der Backup-Einheit statt. Dortige Dienste sind/waren für den genannten Zeitraum nicht zu erreichen. Die Hauptanbindung und regulären Dienste sind/waren davon nicht betroffen.
Derzeit verzeichnen wir einige DoS Angriffe auf den FTP Server und haben entsprechende Gegenmaßnahmen eingeleitet. Der Dienst war dadurch in der Erreichbarkeit temporär beeinträchtigt.
Für den Postausgangsserver wurde turnusgemäß ein neues Zertifikat generiert und somit das abgelaufene ältere Zertifikat ersetzt. Das neue Zertifikat trägt die Seriennummer: 00:8B:0F:AD:FA:E5:1A:91:33 und besitzt eine Gültigkeitsperiode von 26.06.2015 bis 25.06.2018.
SHA1-Fingerabdruck: 03:4C:9D:FF:3B:D9:88:86:3A:12:23:03:6B:FF:29:5E:63:45:C8:48, MD5-Fingerabdruck: 56:82:A9:26:14:82:C8:54:22:7C:E9:37:32:68:59:EF
Beim Postversand/Login werden Sie ggf. von Ihrem eMail-Client daraufhingewiesen und einmalig zur Akzeptanz des Zertifikats aufgefordert. Bei Fragen und Hilfestellung zur Einrichtung steht Ihnen die bekannte Servicehotline zur Verfügung. Das Zertifikat ist 3 Jahre gültig.
Eine neue Backupeinheit im Sekundärrechenzentrum wurde in Betrieb genommen. Die alte Einheit lief im Parallelbetrieb. Die Migration ist vollständig abgeschlossen. Es kam zu keinen Beeinträchtigungen oder Nichterreichbarkeiten des Backups.
Desweiteren wurden die DNS Einstellungen der Statusseite status.finalmedia.de um ein RoundRobin-Verfahren zum neuen Host ergänzt.
Es wurden neue Zertifikate für den Transfer via https generiert (individuell für einzelne vhosts, SNI), die Konfiguration diverser vhosts zu TLS1 only angepasst und eine Prüfung durchgeführt. Es waren sporadische Reloads/Restarts des httpd nötig, die jeweils kürzere Nichterreichbarkeit einzelner vhosts zur Folge hatten. Nachfolgend die Fingerprints zweier von uns selbst verwendeten Zertifikate:
web02.finalmedia.de, Zertifikat-Seriennummer 00:BC:51:2B:B4:D8:2B:3B:F8, SHA256 Fingerprint 61:0C:AC:FC:95:E4:3A:87:DB:2A:F4:8D:8A:06:77:16:10:81:42:9F:17:A8:58:F6:23:2E:A2:C5:16:1E:F4:B3, gültig bis 29.09.2017
finalmedia.de, Zertifikat-Seriennummer 00:81:69:3D:61:5F:E6:5E:6E, SHA256 Fingerprint 83:2B:44:71:1F:5B:BB:C6:98:DA:3C:BD:5F:EC:27:F2:E4:76:88:EC:26:12:71:C2:B9:13:48:7D:AB:16:76:D6, gültig bis 29.09.2017
Abwehr von DoS Angriffen aus diversen ausländischen IP Adressbereichen. Alle Dienste dadurch vorrübergehend nicht erreichbar.
Im genannten Zeitraum lag eine bisher nicht näher spezifizierbare technische Störung vor. Übermäßig starker Speicherbedarf wurde verzeichnet. Details und Analyse folgen. Wir bitten die Unannehmlichkeiten zu entschuldigen.
Es wurden planmäßige Wartungsarbeiten am Storageserver durchgeführt. Eine detaillierte Dateisystemprüfung war zwingend notwendig. Wir bitten die Unannehmlichkeiten aufgrund der dadurch entstandenen Nichterreichbarkeit zu entschuldigen.
Mehrere kurzfristige Störungen in Anbindung des Blockdevices d. Storageserver im Primärrechenzentrum (IO Error). Notwendige anstehende Dateisystemprüfung wird in kommende Nachtstunden verlegt.
Im genannten Zeitraum wurde planmäßig eine Hardwareaufrüstung (Arbeitsspeicher) von web02.finalmedia.de und eine kurze Systemprüfung durchgeführt. Diese Maßnahme war daher mit einer kurzen Unterbrechung bzgl. der Erreichbarkeit aller Dienste verbunden.
Wir führen außerplanmäßige Wartungsarbeiten (Zusätzliche Sicherungsmaßnahmen) am Postausgangsserver (SMTP/SSMTP) durch. Daher ist ein Login für den Versand von Emails temporär für einzelne Kunden nicht möglich. Wir bitten um Ihr Verständnis. Danke.
Im Rahmen dieser Maßnahme wurde ein neues selbstsigniertes Zertifikat für den smtpd für STARTTLS und SSL/TLS mit Seriennummer 00:F2:24:93:3E:A0:11:EE:CA eingerichtet. Der SHA1-Fingerabdruck lautet: EB:50:A3:D7:F0:69:6D:9E:12:C4:0E:A9:D8:32:3D:D5:42:02:6B:AC. Bei einem erneuten Login werden Sie ggf. von Ihrem eMail-Client daraufhingewiesen und zur Akzeptanz des Zertifikats aufgefordert. Bei Fragen und Hilfestellung zur Einrichtung steht Ihnen die bekannte Servicehotline zur Verfügung. Das Zertifikat ist 2 Jahre gültig.
Das Primärrechenzentrum in St. Wendel meldete eine Störung an der USV-Anlage, die unser Redundanzsystem im Hot-Standby betraf. Nach derzeitigem Kenntnisstand gab es einen Defekt am Wechselrichter der USV (konzeptbedingt ein Single Point of Failure). Die betroffene USV-Anlage befindet sich derzeit im ByPass-Modus für eine weitergehende Wartung. Aus den genannten Gründen fiel unsere Storageanbindung vorrübergehend in den Nur-Lese-Status, da das Redundanzsystem nach dem ausserplanmäßigen Reset durch die dortige USV auf den Zugriffspunkt einsetze, der eigentlich dem Primärsystem zur aktuellen Anbindung vorbehalten war. (Zum Schutz des Datenbestands wird die iSCSI-Session in diesem Fall automatisch Nur-Lesend gesetzt). Der Fehler betraf somit alle schreibenden Anfragen an den Datenbankserver des Primärsystems. Auch ein Login auf die Mailserver war damit temporär nicht möglich. Wir bitten Sie an dieser Stelle um Entschuldigung für die entstandenen Unannehmlichkeiten.
Aufgrund einer Überlast (DoS, Außergewöhnlich hoher Ressourcenverbrauch) war der Datenbankserver kurzfristig nicht erreichbar. Dadurch war auch ein Login zum Mailserver temporär unmöglich.
Das Primärrechenzentrum in St. Wendel meldete außerplanmäßige Wartungsarbeiten an der Netzwerkinfrastruktur (Switch). Konnektivität ist wieder hergestellt. Im Rahmen dieser Störung kam es auch zur kurzen Beeinträchtigung bei der Namensauflösung (DNS) via 217.11.48.200 und 217.11.49.200.
Zeitweilige Nichterreichbarkeit des smtpd und httpd aufgrund von DoS.
Aufgrund einer notwendigen Prüfung bzgl. Sicherheitsupdates (im Rahmen des Heartbleed-Bugs) waren die auf SSL/TLS basierenden Dienste IMAPs/POP3s auf dem Primärserver vereinzelt und kurzfristig nicht erreichbar. Betroffene Kunden erhalten in Kürze Nachricht bzgl. Zertifikat-Wechsel (wenn notwendig). Die meisten unserer Systeme (mit OpenSSL Version 0.9.8) waren vom Bug nicht betroffen. (Zertifikatwechsel daher nicht zwangsweise nötig)
Im Primärrechenzentrum wurden Änderungen am BGP-Routing vorgenommen.
Aufgrund einer Überlast (DoS) wurde die Datenbank temporär zum Schutz heruntergefahren. Der Dienst wird in Kürze wieder verfügbar sein. Separate Analyse dauert noch an.
Die Telekom hat derzeit leider Probleme beim Routing. Daher sind Server im Primär-Rechenzentrum teilweise aus diesen Netzen nicht erreichbar. Laut Aussage der Telekom wird die Störung gegen 12:30 Uhr behoben sein.
Es gab einen unerwarteten Ausfall einer USV-Anlage im Primärrechenzentrum. Dies betraf das Primärsystem, nicht jedoch das Sekundärsystem. Der Ausfall selbst betrug nur wenige Sekunden vor Lastübernahme. Die Anbindung zum Storage ist jedoch durch den Ausfall der USV aus bisher ungeklärten Gründen ebenfalls noch gestört, weswegen es zu einer verzögerten Aufschaltung kommt. Ein ARP-Cachingproblem wird vermutet. Das Personal im Rechenzentrum arbeitet an dem Problem.
Derzeit kommt es aufgrund interner Störungen im Netz 5.1 leider zu Einschränkungen bei der Erreichbarkeit.
Derzeit kommt es zu Beeinträchtigungen bei der Erreichbarkeit des Primärrechenzentrums in St. Wendel. Wir bitten Sie, die Unnehmlichkeiten zu entschuldigen.
Derzeit kommt der zu Beeinträchtigungen bei der Erreichbarkeit des Primärrechenzentrums in St. Wendel. Wir bitten Sie, die Unannehmlichkeiten zu entschuldigen.
Derzeit kommt es zu sporadischen Beeinträchtigungen bei der Erreichbarkeit des Primärrechenzentrums.
Das Personal des Primärrechenzentrums nimmt Wartungsarbeiten am Netzwerk vor. Es kann daher zu Einschränkungen bei der Erreichbarkeit kommen.
Die Erreichbarkeit des Primärrechenzentrums in St. Wendel ist derzeit kurzfristig beeinträchtigt.
Das Personal des Primärrechenzentrums in St. Wendel nimmt Wartungsarbeiten am Netzwerk vor. Es kann daher kurzzeitig zu Einschränkungen bei der Erreichbarkeit kommen.
Es gab im genannten Zeitraum einen DoS-Angriff auf das Primärrechenzentrum. Gegenmaßnahmen wurden eingeleitet.
Erweiterung der Bandbreite der CoreRouter im Sekundärrechenzentrum in Köln. Es können kleinere Probleme von Nichterreichbarkeit des Backupsystems entstehen. Der Zeitpunkt des Backupprozesses wurde entsprechend angepasst.
Derzeit gibt es Paketverluste von/zu einigen Carriern im Primärrechenzentrum. Das Personal arbeitet an einer Umgehung.
Temporärer Anbindungstörung aus Netz der Telekom zu Sekundärrechenzentrum in Köln. Dies hat keine Auswirkung auf unsere Infrastruktur.
Das Storage-System netapp01-1 ist derzeit ausgefallen. Ein umfassender Dateisystem-Check ist nötig. Dieser wird noch mehrere Stunden andauern. Dies betrifft leider ALLE unsere Nutzdatendienste. Wir bitten um etwas Geduld. Danke.
Im genannten Zeitraum kam es zu einem Angriff auf das Primärrechenzentrum in St. Wendel. Hierdurch kam es zu Einschränkungen der Erreichbarkeit.
Das Sekundärrechenzentrum in Köln meldet einen DDos Angriff auf die Infrastruktur. Der Backupserver ist daher in der Anbindung/Bandbreite temporär eingeschränkt verfügbar.
Das Personal des Primärrechenzentrums führt derzeit eine Notfallwartung des Storagesystems durch. Einige Volumes waren deshalb leider nicht erreichbar.
Das Personal des Primärrechenzentrums führt Wartungsarbeiten an der Netzwerkinfrastruktur durch. Es kann daher in vereinzelten Fällen zu kurzen Einschränkungen in der Erreichbarkeit kommen.
Im genannten Zeitraum gab es vermehrt ganztägige und sporadische Angriffe auf die Infrastruktur des Primärrechenzentrums.
Das Sekundärrechenzentrum meldet eine Störung über die tertiäre Sicherungsstufe im (Snapshotverfahren). Das Problem konnte kurzfristig behoben werden. Die Quartäre Sicherungsstufe war nicht betroffen. Datenvalidierung erfolgt. Alle Dienste waren weiterhin vollständig erreichbar.