Betrieb

Updates

Das Skript update_restart.sh aus dem Oberbau läuft wie bisher jede Nacht per Cron. Gibt es neue Versionen von Vogelschlagmelder oder Oberbau,

  1. sichert es alle Gruppen nach multitenant/backups/<datum>/,

  2. merkt es sich den laufenden Stand als vsm-multitenant:vorher,

  3. baut den neuen Stand – schlägt das fehl, läuft der bisherige Container einfach weiter,

  4. startet den Container neu; vor dem Start werden die Datenbanken aller Gruppen auf den neuen Stand gebracht,

  5. ruft die Adresse jeder Gruppe auf und

  6. kehrt automatisch zum vorherigen Stand zurück, wenn eine Gruppe nicht antwortet.

Sicherungen, die älter als 14 Tage sind, löscht es anschließend.

Während des Neustarts sind alle Gruppen etwa 10–20 Sekunden nicht erreichbar. Das Update findet deshalb nachts statt.

Von Hand:

cd /srv/docker
./update_restart.sh

Was das Skript gemacht hat, steht in update_restart_logs/.

Sicherung

Neben der nächtlichen Sicherung vor jedem Update lässt sich jederzeit von Hand sichern:

vsm-mt backup --ziel /data/multitenant/backups/manuell          # alle Gruppen
vsm-mt backup berlin --ziel /data/multitenant/backups/manuell   # eine Gruppe

Für jede Gruppe entsteht eine Datei <name>-<zeitstempel>.tar.gz mit Datenbank und Fotos, auf dem Server unter /srv/docker/multitenant/backups/. Diese Dateien gehören zusätzlich auf einen anderen Rechner oder Speicher, wie unter Wartung beschrieben.

Nicht einfach die Datenbankdatei kopieren

Im gemeinsamen Container stehen die jüngsten Änderungen zeitweise in der Datei vogelschlagmelder.db-wal. Eine Kopie nur von vogelschlagmelder.db im laufenden Betrieb kann deshalb unvollständig sein. vsm-mt backup erstellt die Sicherung über die dafür vorgesehene Schnittstelle der Datenbank und ist immer vollständig.

Die Ordner multitenant/tenants/, multitenant/secrets/ und die Datei multitenant/hoster.env sind in diesen Sicherungen nicht enthalten. Sie ändern sich selten; nach jeder Änderung gesondert sichern. Ohne SETTINGS_SECRET einer Gruppe sind deren gespeichertes SMTP-Passwort und Matrix-Token nicht mehr lesbar.

Wiederherstellen

vsm-mt tenant disable berlin
sudo mv volumes/berlin/data volumes/berlin/data.alt
sudo tar -xzf multitenant/backups/<datum>/berlin-<zeitstempel>.tar.gz -C volumes/berlin
sudo chown -R 1001:1001 volumes/berlin/data
vsm-mt tenant enable berlin

Nach erfolgreicher Prüfung kann volumes/berlin/data.alt gelöscht werden.

Wartezeiten bei Lastspitzen

Alle Gruppen teilen sich die Rechenleistung des Containers. Mit den empfohlenen Werten (UVICORN_WORKERS=2, IMAGE_WORKERS=1) werden zwei Fotos zur selben Zeit verarbeitet; weitere warten kurz.

Im Alltag ist das nicht zu bemerken: Eine Meldung mit drei Fotos ist in etwa einer Sekunde verarbeitet. Gehen dagegen bei vielen Gruppen im selben Moment Meldungen mit Fotos ein, wartet die letzte länger – im Lasttest mit 13 gleichzeitigen Meldungen à drei Fotos rund 8 Sekunden, bei 30 gleichzeitigen Meldungen rund 20 Sekunden. Mit einzelnen Containern waren es auf demselben Rechner rund 4 Sekunden, dafür brauchten sie dreimal so viel Arbeitsspeicher.

Wer Lastspitzen schneller abarbeiten möchte, setzt in hoster.env IMAGE_WORKERS=2 und erhöht in der docker-compose.yaml cpus – sofern der Server genug Kerne hat. Der Speicherbedarf in der Spitze steigt dann auf gut 1 GB.

Mailserver zuverlässig halten

Die Benachrichtigungen werden direkt beim Absenden einer Meldung verschickt. Ist der gemeinsame Mailserver nicht erreichbar, wartet jede Meldung – bei allen Gruppen, die ihn nutzen – bis zu 10 Sekunden auf den Versand (bei Matrix bis zu 30 Sekunden). Andere Seitenaufrufe sind davon seit Version 1.5.0 nicht mehr betroffen. Störungen des Mailservers sollten trotzdem zügig behoben werden.

Protokolle

docker compose logs --tail 100 vsm-multitenant
docker compose logs -f vsm-multitenant | grep "tenant=berlin"

Jede Zeile des Vogelschlagmelders beginnt mit [tenant=<name>]. So lässt sich nachvollziehen, welche Gruppe betroffen ist.

Fehlersuche

Beobachtung

Ursache und Abhilfe

Eine Gruppe zeigt „Invalid host header“

Gruppe ist deaktiviert oder wurde nicht geladen. vsm-mt tenant list und vsm-mt tenant check <name> zeigen den Grund; im Protokoll steht eine Zeile mit CRITICAL

… nicht geladen: ADMIN_PASSWORD ist unsicher

Passwort in multitenant/secrets/<name>.env ändern; nach zehn Sekunden ist die Gruppe wieder da

Datenordner … existiert nicht

data_dir in multitenant/tenants/<name>.toml prüfen

Host … gehört zu a und b

Eine Domain ist zwei Gruppen zugeordnet. Bis zur Korrektur gilt die bisherige Zuordnung weiter

Neue Domain: Zertifikatsfehler im Browser

DNS-Eintrag fehlt oder ist noch nicht verbreitet; docker compose logs traefik

Alle Gruppen nicht erreichbar

docker compose ps vsm-multitenant – läuft der Container? Wenn nicht: docker compose logs vsm-multitenant. Nach einem fehlgeschlagenen Update: docker tag vsm-multitenant:vorher vsm-multitenant:latest && docker compose up -d --no-build vsm-multitenant

Kern und Oberbau passen nicht zusammen

appVogelschlagmelder steht auf einem zu alten Stand (vor 1.5.0)

CRITICAL: Dateisperren wirken auf diesem Dateisystem nicht

Die Daten liegen auf einem Netzlaufwerk o. ä. Der Container läuft sicherheitshalber mit nur einem Prozess. Daten auf ein lokales Dateisystem verlegen

Mandant … nach 3 Fehlversuchen ausgeschlossen

Die Datenbank dieser Gruppe lässt sich nicht öffnen. Die übrigen Gruppen laufen weiter. vsm-mt tenant check <name>, dann aus der Sicherung wiederherstellen

Befehlsübersicht

Befehl

Wirkung

vsm-mt tenant list

alle Gruppen mit Status

vsm-mt tenant create <name> --url <adresse> [--alias …] [--enable]

neue Gruppe

vsm-mt tenant check [<name> …]

Konfiguration und Daten prüfen

vsm-mt tenant enable <name> / disable <name>

Gruppe freischalten / stilllegen

vsm-mt tenant export <name> --ziel <ordner>

Konfiguration für eine eigene Installation erzeugen

vsm-mt import-compose --compose … --env …

bestehende Einzelcontainer einlesen

vsm-mt migrate [<name> …]

Datenbanken aktiver Gruppen auf den aktuellen Stand bringen (passiert beim Start automatisch)

vsm-mt backup [<name> …] --ziel <ordner>

sichern

vsm-mt traefik-config

Traefik-Konfiguration neu schreiben (passiert bei create, enable, disable automatisch)