reteep
Web Geek
Hallo liebe Foren Gemeinde,
wir hatten heute, am 09.01.2009, leider eine längere Downtime als geplant. Um genau 11:50 wollte ich eigentlich das Board wieder online schalten, als ich plötzlich in der "Wer ist Online" Liste viele leere Platzhalter zwischen den Kommas entdeckt habe. Das sah ca. so aus:
Ich wagte ein Blick in die Mitarbeiter Liste des Forums.. 2/3 der Mods waren verschwunden. Ok.. nur ein direkter Check in der Datenbank konnte für Gewissheit sorgen..
4981. Anstatt über 100.000.
Ok.. da ist wohl was mit dem Update schief gegangen. Doch kein Problem dachte ich mir.. wir haben ja genügend Backups. Da die Datenbank extrem groß ist, machen wir täglich ein Update und behalten jeweils eine ganze Woche an Backups, also sieben Stück insgesamt. So einen Backup zu importierten dauert ca. 45 Minuten.
Ich kann euch versichern, ich habe jeden dieser Backups ausprobiert. Überall war die vb3_user Tabelle fehlerhaft, und nach einem Repair warns noch genau 4981 Benutzer.
Das sind die Momente, bei denen es einem eiskalt den Rücken herunterläuft, und man langsam anfängt zu schwitzen obwohl es einem gar nicht zu warm ist.
So ein 7GB SQL Dump lässt sich natürlich auch nicht mit dem Lieblingseditor öffnen. Weder Ultraedit, noch Notepad oder sonstige Textviewer haben es geschafft die Datei zu öffnen. Letztendlich hab ich ein DOS Tool verwendet (HexView) um die Datei step-by-step zu durchforsten.
Ich kann mir beim besten Willen nicht erklären wie das passiert ist, bzw. wie es dann immer noch funktionieren konnte, aber ziemlich genau ab Zeile 4981 im vb3_user Abschnitt hat der SQL Dump aufgehört. Es kam einfach nichts mehr.. und ja, wir führen alle 2 Tage auch einen Repair auf alle Tabellen aus.
Wie dem auch sei, um 19:00 hab ich keine andere Möglichkeit mehr gesehen, als einen noch älteren Dump zu nehmen. Dieser Dump stammt vom 1.11.2008. Der 1.12.2008 enthält leider den gleichen Fehler
.
An alle Betroffenen: Mir tut es wirklich leid, aber alle die sich nach dem 1.11.2008 registriert haben müssen sich neu registrieren. (z.B. https://www.musiker-board.de/vb/sou...rmware-update-problem-motu-ultralite-mk3.html ). Die werden nun alle als Gast angezeigt.
Wenigstens sind keine Themen oder Beiträge verloren gegangen. Und wenigstens konnten wir 96.000 Benutzer retten..
Wie immer, lernt man aus einem solchen Disaster. Wir werden jetzt wöchentlich unsere Backups überprüfen. Abgesehen davon, haben wir nächste Woche ohnehin ein Meeting um das Musiker-Board endlich wieder stabil zu bekommen.
Die Stabilitäts-Probleme sind uns bekannt, wir arbeiten hart daran alles wieder flüssig zu bekommen.
Ich hoffe sonst wurde nichts in Mitleidenschaft gezogen, ansonsten bitte hier Posten oder PM an mich.
Der eigentlichen Ursache werde ich sicher noch nachgehen und melde mich wieder sobald ich mehr weiß.
So long... bin jetzt erstmal weiter meine Grippe auskurieren
- reteep
WICHTIG:
Dadurch, dass die Benutzerdatenbank auf dem Stand vom 1.11 ist, betrifft das alles was mit dem Benutzeraccount zu tun hat. Also auch Karma, Beitragszahl etc.
wir hatten heute, am 09.01.2009, leider eine längere Downtime als geplant. Um genau 11:50 wollte ich eigentlich das Board wieder online schalten, als ich plötzlich in der "Wer ist Online" Liste viele leere Platzhalter zwischen den Kommas entdeckt habe. Das sah ca. so aus:
Ich wagte ein Blick in die Mitarbeiter Liste des Forums.. 2/3 der Mods waren verschwunden. Ok.. nur ein direkter Check in der Datenbank konnte für Gewissheit sorgen..
4981. Anstatt über 100.000.
Ok.. da ist wohl was mit dem Update schief gegangen. Doch kein Problem dachte ich mir.. wir haben ja genügend Backups. Da die Datenbank extrem groß ist, machen wir täglich ein Update und behalten jeweils eine ganze Woche an Backups, also sieben Stück insgesamt. So einen Backup zu importierten dauert ca. 45 Minuten.
Ich kann euch versichern, ich habe jeden dieser Backups ausprobiert. Überall war die vb3_user Tabelle fehlerhaft, und nach einem Repair warns noch genau 4981 Benutzer.
Das sind die Momente, bei denen es einem eiskalt den Rücken herunterläuft, und man langsam anfängt zu schwitzen obwohl es einem gar nicht zu warm ist.
So ein 7GB SQL Dump lässt sich natürlich auch nicht mit dem Lieblingseditor öffnen. Weder Ultraedit, noch Notepad oder sonstige Textviewer haben es geschafft die Datei zu öffnen. Letztendlich hab ich ein DOS Tool verwendet (HexView) um die Datei step-by-step zu durchforsten.
Ich kann mir beim besten Willen nicht erklären wie das passiert ist, bzw. wie es dann immer noch funktionieren konnte, aber ziemlich genau ab Zeile 4981 im vb3_user Abschnitt hat der SQL Dump aufgehört. Es kam einfach nichts mehr.. und ja, wir führen alle 2 Tage auch einen Repair auf alle Tabellen aus.
Wie dem auch sei, um 19:00 hab ich keine andere Möglichkeit mehr gesehen, als einen noch älteren Dump zu nehmen. Dieser Dump stammt vom 1.11.2008. Der 1.12.2008 enthält leider den gleichen Fehler
.An alle Betroffenen: Mir tut es wirklich leid, aber alle die sich nach dem 1.11.2008 registriert haben müssen sich neu registrieren. (z.B. https://www.musiker-board.de/vb/sou...rmware-update-problem-motu-ultralite-mk3.html ). Die werden nun alle als Gast angezeigt.
Wenigstens sind keine Themen oder Beiträge verloren gegangen. Und wenigstens konnten wir 96.000 Benutzer retten..
Wie immer, lernt man aus einem solchen Disaster. Wir werden jetzt wöchentlich unsere Backups überprüfen. Abgesehen davon, haben wir nächste Woche ohnehin ein Meeting um das Musiker-Board endlich wieder stabil zu bekommen.
Die Stabilitäts-Probleme sind uns bekannt, wir arbeiten hart daran alles wieder flüssig zu bekommen.
Ich hoffe sonst wurde nichts in Mitleidenschaft gezogen, ansonsten bitte hier Posten oder PM an mich.
Der eigentlichen Ursache werde ich sicher noch nachgehen und melde mich wieder sobald ich mehr weiß.
So long... bin jetzt erstmal weiter meine Grippe auskurieren
- reteep
WICHTIG:
Dadurch, dass die Benutzerdatenbank auf dem Stand vom 1.11 ist, betrifft das alles was mit dem Benutzeraccount zu tun hat. Also auch Karma, Beitragszahl etc.
- Eigenschaft
