8. Pepsi betreiben

In diesem Kapitel geht es um die Wochen nach der Installation: wo die Logs liegen, was zu beobachten ist und was zu sichern ist, damit eine verlorene Platte Sie einen Nachmittag kostet und nicht die Schlüssel aller Benutzer. Das Upgrade ist in Upgrade beschrieben, und was zu tun ist, wenn etwas schiefgeht, in Fehlersuche. Was Ihre Benutzer sehen und tun können und was der Schutz bedeutet, den sie erhalten, steht im nächsten Kapitel, Pepsi benutzen: ein Leitfaden für Benutzer, das für sie geschrieben ist und das Sie in Ihre eigenen Hilfeseiten übernehmen dürfen.

8.1. Logs

Jedes Pepsi-Programm schreibt seine Logs auf die Standardfehlerausgabe. Unter den mitgelieferten systemd-Units ist das das Journal, eine Unit je langlebigem Programm:

journalctl -u pepsi-ingress -u pepsi-dispatch -u pepsi-httpd --since today
journalctl -u pepsi-dispatch -f          # follow the pipeline live
journalctl -u 'pepsi-*' -p warning       # warnings and errors, every unit

Die Stage-Programme haben keine eigenen Units: Der Dispatcher startet sie als Worker, und sie erben seine Standardfehlerausgabe, daher erscheint alles, was eine Stage protokolliert, unter pepsi-dispatch. Jeder Eintrag nennt das Programm, das ihn geschrieben hat. Die Timer (Schlüsselauffrischung, Quota-Abgleich, Log-Bereinigung, …) protokollieren unter ihren eigenen .service-Namen; systemctl list-timers 'pepsi-*' listet sie mit ihrem letzten und nächsten Lauf auf.

8.1.1. Log-Level

Die Level sind error, warn, info (der Standard), debug und trace.

  • [pepsi] LOG setzt das Level für jedes Programm auf einmal, einschließlich der Stage-Worker, die vom Dispatcher keine Kommandozeilen-Flags erhalten. Starten Sie die Dienste nach einer Änderung neu (der Dispatcher startet seine Worker selbst neu).

  • -L LEVEL (vor dem Unterbefehl, z. B. pepsi-queue -L debug list) überschreibt es für einen Prozess; so sieht man üblicherweise bei einem von Hand gestarteten Werkzeug genauer hin.

  • -v zeigt zusätzlich die Einträge, die die Datenbank-, HTTP- und TLS-Bibliotheken selbst schreiben und die sonst ausgeblendet sind. Das ist bei einem Verbindungsproblem nützlich, aber sehr gesprächig.

  • [pepsi] LOG_JSON = yes schreibt ein JSON-Objekt je Eintrag, für einen Log-Aggregator.

info schreibt eine oder wenige Zeilen je Nachricht und Stage. warn behält, was Aufmerksamkeit braucht, und passt zu einem ausgelasteten Host. debug und trace können Umschlagadressen und Protokolldetails enthalten; lassen Sie sie nicht eingeschaltet. Keine Stufe schreibt Nachrichteninhalte, daher landet entschlüsselter Klartext nicht im Journal (siehe Entschlüsselte Mail, Schlüssel oder Betreffs in Logs und lokalem Speicher abgelegt). Im Journal findet sich auch die Adresse eines einliefernden Clients: Ein Submission-Listener hält sie aus dem Received:-Header der Nachricht heraus (RECEIVED_PRIVACY). Erhalten Sie also eine Missbrauchsmeldung zu einer Nachricht, die einer Ihrer Benutzer gesendet hat, verfolgen Sie sie hier zurück, nicht anhand des Headers. Sie brauchen dafür die Queue-ID und die Uhrzeit, die pepsi-ingress bei der Annahme der Nachricht protokolliert hat.

8.1.2. Was aufbewahrt wird, und wie lange

Die Aufbewahrung des Journals ist Sache von systemd (journald.conf). In der Datenbank hält Pepsi:

  • das Prüfprotokoll (pepsi.event_log): wer was geändert hat, über die Kommandozeilenwerkzeuge, die API und die Konsole, täglich durch pepsi-log-prune.timer bereinigt;

  • kein Zustellprotokoll je Nachricht, es sei denn, Sie schalten [pepsi] MAIL_LOG ein (siehe pepsi.conf(5) und die dortige Datenschutzwarnung). Eine zugestellte Nachricht wird aus der Warteschlange gelöscht, ohne es ist das Journal also der einzige Nachweis, dass eine Nachricht durchgelaufen ist;

  • TLS-Reporting-Zähler (pepsi.tls_session), bereinigt durch pepsi-tlsrpt-prune.timer;

  • die DMARC-Aggregatberichte, die andere Empfänger über die bedienten Domains gesendet haben (pepsi.dmarc_report, gelesen von pepsi-stage-dmarc-report), gelöscht von pepsi-queue gc (pepsi-origin-gc.timer, stündlich), sobald ihr Berichtszeitraum mehr als [pepsi-dmarc-reports] RETAIN_DAYS (90) zurückliegt.

8.2. Überwachung

Zwei Dinge sagen Ihnen, ob Mail fließt: die Warteschlange und die Nachrichten, die die Pipeline aufgegeben hat.

8.2.1. pepsi-status

pepsi-status ist eine rein lesende Zusammenfassung der Warteschlange, der hängenden Nachrichten mit dem jeweiligen Grund, der kumulierten Zähler je Stage, der ausgehenden TLS-Ergebnisse, der Postfach-Quotas und der jüngsten Schlüsseländerungen. Sie zeigt außerdem, was die DMARC-Aggregatberichte über die bedienten Domains sagen und was das Web Key Directory und das DNS für jede veröffentlichte Identität ausliefern. Dieser letzte Abschnitt ist der einzige, der das Netz befragt (--offline überspringt ihn). Der Befehl kann jederzeit gefahrlos ausgeführt werden, und --json liefert denselben Bericht an ein Skript:

pepsi-status
pepsi-status --json | jq .problem_total

problem_total ist die Anzahl der Nachrichten in failed oder timeout. Der Dispatcher versucht sie nie erneut; pepsi-failure-bouncer.timer bounct sie an ihre Absender, sobald sie seit MIN_AGE gescheitert sind (eine Stunde; siehe Nachrichten in failed oder timeout), sodass der Zähler normalerweise von selbst wieder auf null fällt. Steigt er weiter, scheitert dieselbe Stage an einer Nachricht nach der anderen, und die Ursache muss behoben werden. Ein Fehler des Hosts zeigt sich hier zunächst nicht: Seine Nachrichten warten paused an der scheiternden Stage (pepsi_pause_backlog), mit dem Fehler in state.last_error, und werden bis zum MAX_LIFETIME der Stage erneut versucht.

Ein WARNING unter Published keys as served bedeutet, dass ein Korrespondent, der diese Adresse nachschlägt, einen Schlüssel erhält, den der Schlüsselspeicher für sie nicht veröffentlicht (Prüfen, was tatsächlich ausgeliefert wird). Die Ursache kann ein anderer Webserver sein, der für die direkte WKD-Methode die Apex-Domain beantwortet, ein von einer Rotation übrig gebliebener DNS-Eintrag oder jemand, der in die Zone oder auf einen Webserver der Domain schreiben konnte. Vergleichen Sie pepsi-keys identity list --served --address ADDRESS mit pepsi-keys dns ADDRESS und entfernen Sie, was immer den fremden Schlüssel ausliefert; bis dahin kann der Inhaber dieses Schlüssels die künftige Mail des Benutzers lesen.

Ein WARNING unter DMARC aggregate reports bedeutet, dass Empfänger Mail unter einer bedienten Domain von einer Quelle gesehen haben, die weder DKIM noch SPF ausgerichtet hat; eine p=reject-Richtlinie weist solche Mail ab. Die Quelle kann ein Dienst sein, der im Namen der Domain sendet (ein Newsletter-Werkzeug, ein Ticketsystem, ein gehostetes CRM). Ein solcher Dienst braucht einen ausgerichteten DKIM-Schlüssel oder SPF mit einem Umschlagabsender in der Domain, bevor Sie die Richtlinie verschärfen. Die Quelle kann auch ein Weiterleiter sein, oder eine Fälschung, die wie beabsichtigt abgewiesen wird. pepsi-setup check liefert dasselbe Urteil pro Domain, und die Konsole listet jede Quelle auf (Logs, DMARC reports). Die Berichte kommen nur bei einer Domain an, deren DMARC-Eintrag die Adresse der Stage in rua= nennt, und sie werden nur dort gelesen, wo eine Stage pepsi-stage-dmarc-report ausführt. Eine Konfiguration ohne eine solche Stage liest keine. Um das zu ändern, fügen Sie dem eingehenden Pfad eine [stage-dmarc-reports] hinzu (direkt nach decrypt, vor den Schranken, wo pepsi-setup --wizard sie einfügt), und fügen Sie dem Eintrag jeder Domain rua=mailto:dmarc-reports@<domain> hinzu, was pepsi-setup run dann vorschlägt.

8.2.2. /metrics

pepsi-httpd liefert Prometheus-Metriken unter /metrics auf einem Listener mit ADMIN = yes, und nirgends sonst. Der Endpunkt verlangt keine Zugangsdaten; markieren Sie also nur einen Listener, den außer Ihrem Überwachungssystem niemand erreichen kann. Die administrative API sagt, welche Listener die Markierung tragen dürfen. Die Reihen:

Reihe

Typ

Bedeutung

pepsi_stage_active_messages{stage}

gauge

Nachrichten, die gerade verarbeitet werden.

pepsi_pause_backlog{stage}

gauge

Nachrichten, die auf einen erneuten Versuch warten: ein entfernter Server, der zurückgestellt hat, ein Schlüssel, der gesucht wird, eine erwartete Zahlung.

pepsi_stage_messages_total{stage}

counter

Nachrichten, die eine Stage verarbeitet hat.

pepsi_stage_duration_seconds_total{stage}

counter

In der Stage verbrachte Zeit; geteilt durch die vorige Reihe ergibt sich der Durchschnitt.

pepsi_stage_timeouts_total{stage}

counter

Worker, die wegen Überschreitung des MAX_RUNTIME der Stage beendet wurden.

pepsi_stage_crashes_total{stage}

counter

Worker, die bei der Bearbeitung einer Nachricht abgestürzt sind.

pepsi_messages_processed_total

counter

Nachrichten, die die Pipeline verlassen haben.

pepsi_stages_executed_total

counter

Stage-Durchläufe, alle Stages zusammen.

pepsi_quarantine_held_messages{stage}

gauge

Nachrichten, die eine Quarantäne-Stage für eine Entscheidung zurückhält (ein Teil von pepsi_pause_backlog); siehe Mail in Quarantäne.

pepsi_greylist_decisions_24h{outcome,reason}

gauge

Greylisting-Entscheidungen der letzten 24 Stunden: die laufende Stunde und die 23 davor. Die Ergebnisse und Gründe sind die von pepsi-greylist stats --json; outcome="expired",reason="never-retried" zählt die ersten Versuche, die das Aufräumen entfernt hat, weil keine Wiederholung kam.

Die Zähler schreibt der Dispatcher alle STATS_INTERVAL sowie wenn er untätig wird, sie hinken also bis zu diesem Intervall hinterher. Es sind Summen seit dem Anlegen des Schemas, nicht je Abfrage; verwenden Sie rate(). Die Greylisting-Reihe ist dagegen ein Gauge über ein gleitendes Fenster, weil der Daemon stündliche Zähler führt und das Aufräumen alte entfernt, sodass eine Summe sinken würde. Die Milter-Zähler von pepsi-ingress während der SMTP-Sitzung (ingress-milter-reject und ähnliche) sind Telemetrie-Schlüssel, keine Reihen hier.

8.2.3. Managed-PKI-Zertifikate

Wo eine Domain die Zertifikate ihrer Benutzer bei einer CA bestellt (Zertifikate einer kommerziellen CA: die Managed PKI), führt pepsi-keys-mpki.timer alle fünf Minuten einen Durchlauf aus, und jeder Schritt, der Sie brauchen könnte, schreibt einen Hinweis. Drei Befehle zeigen, wie die Dinge stehen:

pepsi-keys mpki notices --unread
pepsi-keys mpki order list --open
pepsi-keys mpki user list --domain example.org

Eine zurückgehaltene Bestellung wartet auf Sie; order list nennt den Grund, und Das CA-Zertifikat eines Benutzers kommt nicht an sagt, was jeweils zu tun ist. Eine Bestellung im Zustand failed trägt die Meldung der CA oder den Grund von Pepsi in last error. Markieren Sie die Hinweise als gelesen, sobald sie erledigt sind (mpki notices --read ID oder --read-all oder in der Konsole, Verwaltete Zertifikate): Ein als gelesen markierter Hinweis ist für jeden Administrator gelesen. Mit einer Benachrichtigungsadresse für die Domain (mpki domain set DOMAIN --notify ADDRESS) und [pepsi-mpki] NOTIFY_STAGE verschickt jeder Durchlauf außerdem die neuen Hinweise dieser Domain per Mail.

8.2.4. Mail in Quarantäne

Eine Nachricht, die ein Milter unter Quarantäne stellt oder die eine andere Stage an eine Stage pepsi-stage-quarantine leitet, wartet dort, bis Sie entscheiden. Pepsi sagt es niemandem: Der Absender erfährt nicht, dass die Nachricht zurückgehalten wird, und der Empfänger sieht sie nicht. pepsi-status zählt die zurückgehaltenen Nachrichten unter der Warteschlangentabelle (quarantined in --json), und pepsi-queue listet sie auf und handelt nach Token:

pepsi-queue quarantine list
pepsi-queue quarantine show TOKEN
pepsi-queue --headers --body WORKQUEUE_ID > held.eml
pepsi-queue quarantine release TOKEN
pepsi-queue quarantine delete TOKEN

list zeigt, wann jede Nachricht ankam, seit wann sie zurückgehalten wird, ihren Umschlag sowie by und reason ihres Vermerks: wer sie in die Quarantäne geschickt hat (milter:<name> für einen Filter) und warum. Den Inhalt sehen Sie sich mit list --headers --body und der workqueue_id an, die show ausgibt. release schickt die Nachricht weiter an die RELEASE_STAGE der Stage, die für Mail, die Ingress unter Quarantäne gestellt hat, normalerweise init ist, sodass die Nachricht dann die ganze Pipeline durchläuft. delete fragt zuerst nach (--yes in einem Skript) und hält die Löschung im optionalen Maillog fest. Beides steht im Prüfprotokoll (queue.quarantine-release, queue.quarantine-delete).

Ein Zurückhalten dauert nicht ewig. Mit MAX_HOLD beendet die Stage ihre eigenen Zurückhaltungen und schickt die Nachricht an EXPIRE_STAGE oder löscht sie; ohne diese Option erzeugt pepsi-queue gc für eine Nachricht, die [pepsi-queue] QUARANTINE_MAX_AGE_DAYS (14) Tage nach ihrer Ankunft noch zurückgehalten wird, einen Bounce ohne ihren Inhalt. Zurückgehaltene Mail liegt, solange sie zurückgehalten wird, im Klartext in der Datenbank. pepsi-queue clear-all lässt zurückgehaltene Mail in Ruhe, und ebenso der Zahlungs-Webhook POST /resume.

Die Seite Quarantäne der Konsole und /api/v1/quarantine listen zurückgehaltene Mail auf, geben sie frei und löschen sie auf dieselbe Weise, mit denselben Ereignisarten im Prüfprotokoll (queue:read zum Ansehen, queue:write zum Handeln; Quarantäne), und pepsi_quarantine_held_messages auf /metrics zählt sie.

8.2.5. Greylisting

Wo pepsi-greylist läuft, hat pepsi-status einen Abschnitt Greylisting: ob der Daemon an seinem Socket antwortet, und die letzten 24 Stunden nach Ergebnis. pepsi-greylist stats gibt dasselbe für eine beliebige Anzahl von Stunden aus, und --json für ein Skript:

pepsi-greylist stats --hours 168
pepsi-greylist list --pending --rcpt alice@example.org
pepsi-greylist list --never-retried --domain example.net

Deferred zählt erste Versuche; passed on retry und passed from another host die Wiederholungen, die zurückkamen; never retried die ersten Versuche, deren Wiederholungsfenster ohne Wiederholung endete. Ein hoher Anteil nie wiederholter Versuche ist genau das, wofür Greylisting da ist, es sei denn, sie stammen von einem echten Korrespondenten: Eine Domain, die dort mit einer spf- oder ptr-Identität erscheint, ist ein echtes Mailsystem, das keine Wiederholung versucht, und ihre Mail geht durch das Greylisting verloren. Lassen Sie sie durch:

pepsi-greylist allow domain example.net --note 'does not retry'
pepsi-greylist allow network 198.51.100.0/24 --expires '90 days'
pepsi-greylist rules
pepsi-greylist unrule 7

Eine Domain-Regel passt auch auf die Domain des Umschlagabsenders, die jeder hineinschreiben kann; für einen Absender ohne SPF ist eine Netzwerkregel die engere Wahl. Ein Benutzer kann die Verzögerung für einen einzelnen Korrespondenten aufheben, indem er ihn auf die Whitelist setzt, die der Daemon liest (WHITELIST_BYPASS). Jede Regeländerung steht im Prüfprotokoll (greylist.rule.added, greylist.rule.removed).

Errors sind Empfänger, die durchgelassen wurden, weil die Datenbank oder das DNS nicht rechtzeitig geantwortet hat. Ein paar während eines Datenbankneustarts sind zu erwarten; ein stetiger Strom bedeutet, dass das Greylisting weitgehend aus ist.

Die Seite Greylisting der Konsole (Greylisting) zeigt dieselben Zähler, die Tripel mit denselben Filtern und die Regeln, und mit config:write fügt sie Regeln hinzu und entfernt sie (origin = console). Benutzer, die für ihre eigene Adresse angemeldet sind, sehen unter Zurückgestellte Mail, was an sie zurückgestellt wurde, und können dort einen Absender, den sie kennen, auf ihre eigene Whitelist setzen, die der Daemon dann liest (Wenn die erste Nachricht von jemand Neuem spät ankommt). /metrics hat die Zähler der letzten 24 Stunden als pepsi_greylist_decisions_24h.

8.2.6. Worauf alarmiert werden sollte

Bedingung

Warum

pepsi-status --json meldet länger als MIN_AGE plus zehn Minuten problem_total über null

Eine Nachricht ist gescheitert und wurde nicht gebounct: pepsi-failure-bouncer.timer läuft nicht (systemctl list-timers), oder der Bounce selbst ist gescheitert. Nachrichten, die an der Bounce-Stage scheitern, werden nicht erneut gebounct und warten auf Sie.

pepsi_pause_backlog einer Stage, die keine Zustell-Stage ist, wächst, oder das Journal wiederholt „failed at stage … retrying“

Ein Fehler des Hosts an dieser Stage (ein unlesbarer Schlüssel oder eine unlesbare Vorlage, ein Helper, der nicht starten kann, eine abgelehnte Anweisung). Ihre Nachrichten werden bis MAX_LIFETIME zurückgehalten, nicht gebounct; state.last_error sagt, warum.

pepsi-status --json meldet quarantined über null, oder min_over_time(sum(pepsi_quarantine_held_messages)[24h:1h]) > 0 (die Quarantäne war seit einem Tag nicht leer)

Mail wartet an einer Quarantäne-Stage auf eine Entscheidung (siehe Mail in Quarantäne). Niemand sonst erfährt davon, und das Zurückhalten endet mit einem Bounce oder einer Löschung, wenn niemand entscheidet.

Der Dispatcher protokolliert für eine Stage „the worker refused to start“

Die Konfiguration der Stage oder ein Geheimnis, das sie liest, lässt sich nicht mehr parsen; ihre Nachrichten werden zurückgehalten, bis es wieder geht.

pepsi_pause_backlog einer Relay-Stage wächst über Stunden

Der nächste Hop, DNS oder der ausgehende Port 25 ist nicht erreichbar. Die Wiederholungen laufen bis MAX_LIFETIME, danach erhalten die Absender Bounces.

rate(pepsi_stage_crashes_total[15m]) oder rate(pepsi_stage_timeouts_total[15m]) über null

Ein Stage-Programm schlägt fehl; seine Nachrichten enden als failed oder timeout.

rate(pepsi_messages_processed_total[1h]) bei null, obwohl Mail erwartet wird

Nichts verlässt die Pipeline: Der Dispatcher ist ausgefallen oder eine Stage hängt.

pepsi-status --json listet eine served_keys-Adresse mit einem Kanal, dessen verdict mismatch ist

Für diese Adresse wird ein Schlüssel ausgegeben, den der Speicher nicht veröffentlicht; wer diesen Schlüssel besitzt, kann also künftige Mail an die Adresse lesen (siehe oben). Führen Sie die Prüfung nach dem Zeitplan des Überwachungshosts aus, nicht jede Minute: Jeder Lauf ruft jede veröffentlichte Identität ab.

Eine pepsi-*-Unit im Zustand failed (systemctl --failed)

Die langlebigen Units versuchen es endlos erneut, eine gescheiterte ist daher meist ein Timer oder ein einmaliger Job.

pepsi-status --json listet einen own_dnssec-Eintrag, dessen verdict bogus (oder servfail) ist

Die DNSSEC-Vertrauenskette einer bedienten Domain ist gebrochen, zum Beispiel durch eine abgelaufene Signatur oder durch einen DS-Eintrag in der übergeordneten Zone, der nach einem Schlüsselwechsel zu keinem veröffentlichten DNSKEY passt. Jeder validierende Resolver weist die Domain dann ab: Absender hinter einem solchen finden ihren MX nicht, und Absender, die DANE verwenden, schieben Mail an sie auf. detail nennt den Extended DNS Error; reparieren Sie die Signaturen der Zone oder den DS-Eintrag. Derselbe Befund lässt pepsi-setup-check.service scheitern.

pepsi-setup-check.service ist fehlgeschlagen

Das tägliche pepsi-setup check --fail-on-findings hat einen DNS-Eintrag gefunden, der fehlt, falsch, ungültig oder aus dem Internet nicht erreichbar ist, oder diesen Host auf einer DNS-Blockliste; das Journal (journalctl -u pepsi-setup-check) enthält eine Warnung pro Befund und den vollständigen Bericht. Empfänger weisen die Mail der Domain dann ab oder legen sie als Spam ab, lange bevor sich jemand beschwert. Eine Abfrage, die lediglich fehlgeschlagen ist, lässt die Unit nicht scheitern. Die Feedback-Schleifen der Anbieter (Microsoft SNDS/JMRP, Gmail Postmaster Tools) liest Pepsi nicht; prüfen Sie sie von Hand.

Eine Mail „DKIM: DNS changes needed“ von pepsi-dkim oder eine Warnung von pepsi-status in seinem Abschnitt „DKIM keys“

Ein DKIM-Eintrag fehlt (Empfänger können mit diesem Schlüssel signierte Mail nicht verifizieren), eine Rotation wartet auf ihre Einträge, oder eine Aktualisierung nach RFC 2136 wurde abgelehnt. pepsi-dkim records gibt aus, was zu veröffentlichen ist (DKIM-Schlüssel rotieren).

pepsi-dkim.service läuft nicht

Die signierenden Stages können nicht signieren; ausgehende Mail wartet in der Warteschlange (sie wird nie unsigniert gesendet), bis der Daemon wieder da ist.

pepsi-greylist.service läuft nicht, wo Greylisting eingeschaltet ist, oder pepsi-status warnt, dass der Daemon nicht antwortet

Mail wird ohne Greylisting angenommen (ein MTA behandelt den fehlenden Milter als Fehler, und ON_FAILURE = accept lässt die Mail durch).

pepsi-greylist stats --json zählt stetig error-Ergebnisse

Der Daemon erreicht seine Datenbank oder seinen Resolver nicht rechtzeitig (DNS_TIMEOUT) und lässt diese Empfänger ohne Greylisting durch.

Eine Domain mit einer spf- oder ptr-Identität taucht immer wieder in pepsi-greylist list --never-retried auf

Ein echtes Mailsystem, das keine Wiederholung versucht: Seine Mail kommt nie an. Lassen Sie es zu (siehe oben).

Der Anteil nie wiederholter Versuche liegt deutlich über seinem üblichen Niveau: sum(pepsi_greylist_decisions_24h{outcome="expired",reason="never-retried"}) / sum(pepsi_greylist_decisions_24h{outcome="deferred",reason="new"}). Die meisten ersten Versuche, die nie wiederholt werden, sind Spam, der Anteil ist also ohnehin hoch; alarmieren Sie bei einem Anstieg gegenüber dem, was Ihre Installation gewöhnlich sieht

Ein Korrespondent, der viel Mail sendet, versucht es nicht mehr erneut oder sendet neuerdings von Adressen, die die Identitätsleiter nicht miteinander verbinden kann. pepsi-greylist list --never-retried oder die Seite Greylisting der Konsole (Zustand Nur einmal versucht) nennt die Domains; lassen Sie die echten zu.

pepsi_greylist_decisions_24h{outcome="error"} wächst

Dasselbe wie die error-Ergebnisse oben, auf /metrics.

Journal-Einträge auf error

Alles, was als Fehler protokolliert wird, verdient einen Blick.

Der Ablauf der TLS-Zertifikate

certbot erneuert sie; eine fehlgeschlagene Erneuerung protokolliert certbot, nicht Pepsi.

Freier Platz dort, wo PostgreSQL seine Daten ablegt

Unterhalb von [pepsi] MIN_FREE_SPACE (Standard 1 GiB) weist pepsi-ingress neue Mail mit einem temporären Fehler ab.

Ungelesene Managed-PKI-Hinweise mit Schweregrad warning oder error (pepsi-keys mpki notices --unread) oder eine Bestellung im Zustand failed in pepsi-keys mpki order list

Das Zertifikat eines Benutzers wartet auf Sie (ein zu bestätigender Name, das Tageslimit, eine fehlende Lizenz oder fehlende Zugangsdaten) oder konnte nicht bestellt werden. Der Hinweis nennt die Bestellung und den Befehl, der sie freigibt; siehe Das CA-Zertifikat eines Benutzers kommt nicht an. Mit einer Benachrichtigungsadresse und [pepsi-mpki] NOTIFY_STAGE kommen dieselben Hinweise per Mail.

pepsi-keys-mpki.service ist fehlgeschlagen

Ein Durchlauf der Managed PKI ist auf einen Fehler gestoßen (journalctl -u pepsi-keys-mpki). Bestellungen, die die CA bereits hat, wiederholt der nächste Durchlauf; es geht nichts verloren, aber Zertifikate kommen womöglich später an.

Eine account.reassigned-Warnung im Audit-Log

Ein Login ist unter einer anderen UID oder nach seiner Entfernung zurückgekehrt: die Einstellungen, Whitelists und Quota seines vorherigen Eigentümers wurden verworfen, und pepsi-setup check listet jegliches Schlüsselmaterial auf, das für die Adresse noch gehalten wird und über das Sie verfügen müssen (Ein Login, das den Eigentümer wechselt).

8.3. Den Schlüssel hinter einem TLSA-Eintrag wechseln

Der DANE-Eintrag, den pepsi-setup run für jeden TLS-Ingress-Listener ausgibt (_<port>._tcp.<HOSTNAME> IN TLSA 3 1 1 <hash>), pinnt den öffentlichen Schlüssel des Mail-Zertifikats, nicht das Zertifikat. pepsi-setup bezieht certbot-Zertifikate daher mit --reuse-key und behält reuse_key = True in ihrer Erneuerungskonfiguration, sodass eine gewöhnliche Erneuerung den Eintrag nie ungültig macht. Ein bewusster Schlüsselwechsel (ein vermuteter Kompromiss, ein Wechsel zu einem anderen Schlüsseltyp oder einer anderen Schlüsselgröße) ist etwas anderes: Ein Absender, der DANE durchsetzt, verweigert die Zustellung an einen Host, dessen Zertifikat zu keinem veröffentlichten Eintrag passt, und Resolver liefern die alte Eintragsmenge für ihre TTL weiter aus. Pepsi hat keinen eigenen Ablauf für den Wechsel. Sie nehmen ihn von Hand vor und veröffentlichen den Eintrag des nächsten Schlüssels, bevor der Schlüssel verwendet wird:

  1. Erzeugen Sie den nächsten Schlüssel und sein Zertifikat neben den aktuellen, als separate certbot-Lineage, die die Dienste noch nicht verwenden (derselbe Hostname, dieselbe Challenge-Methode wie beim Original, hier die Standalone-Methode):

    certbot certonly --cert-name mx.example.org-next -d mx.example.org \
        --standalone --reuse-key
    
  2. Veröffentlichen Sie den Eintrag des nächsten Schlüssels neben dem aktuellen, unter jedem Namen, unter dem der aktuelle Eintrag veröffentlicht ist (einer pro TLS-Port). Sein Hash ist der SHA-256 der SubjectPublicKeyInfo des neuen Schlüssels:

    openssl x509 -in /etc/letsencrypt/live/mx.example.org-next/cert.pem \
        -noout -pubkey | openssl pkey -pubin -outform DER \
        | openssl dgst -sha256 -hex
    
    _25._tcp.mx.example.org. IN TLSA 3 1 1 <current hash>
    _25._tcp.mx.example.org. IN TLSA 3 1 1 <next hash>
    

    Beide Einträge sind gleichzeitig gültig: ein Absender akzeptiert ein Zertifikat, das zu einem der beiden passt, daher funktioniert das aktuelle Zertifikat weiter.

  3. Warten Sie die TTL der TLSA-Eintragsmenge ab (und lassen Sie die signierte Zone jeden autoritativen Server erreichen). Bis dahin kann ein Resolver noch die alte Menge halten, die den nächsten Schlüssel noch nicht nennt.

  4. Wechseln Sie auf den neuen Schlüssel. Lassen Sie jeden Abschnitt, der die alte Lineage nennt (TLS_CERT/TLS_KEY der Ingress-Listener), auf /etc/letsencrypt/live/mx.example.org-next/ zeigen. Die pepsi-httpd-Listener haben eine eigene Lineage, mx.example.org-web, die kein TLSA-Eintrag pinnt. Führen Sie dann pepsi-setup -c /etc/pepsi/pepsi.conf run aus (das reuse_key für die neue Lineage gesetzt hält und das Zertifikat an die Dienste übergibt), und starten Sie die Dienste neu. pepsi-setup check meldet dann die veröffentlichten Einträge gegenüber dem Zertifikat, das nun ausgeliefert wird.

  5. Entfernen Sie den alten Eintrag und die alte Lineage mit certbot delete --cert-name mx.example.org. Von nun an wird die neue Lineage unter Beibehaltung ihres Schlüssels erneuert, so wie es die alte tat.

8.4. DKIM-Schlüssel rotieren

Die privaten DKIM- und ARC-Schlüssel gehören dem Signier-Daemon, pepsi-dkim (pepsi-dkim.service, Konto pepsi-dkim). Jede signierende Domain hat eine aktuelle Generation von Schlüsseln, einen pro Algorithmus aus [pepsi] DKIM_ALGORITHMS (die ARC_DOMAIN außerdem einen für ARC_ALGORITHM), unter Selektoren, die nach dem Monat benannt sind, in dem die Generation erzeugt wurde: pepsi-202610._domainkey.example.org für RSA und pepsi-202610-ed25519._domainkey.example.org für Ed25519, wobei pepsi der [pepsi] DKIM_SELECTOR ist. Eine Rotation erzeugt eine next-Generation unter neuen Selektoren, schaltet das Signieren auf sie um, sobald ihre Einträge veröffentlicht sind, behält die alten Einträge für RETIRE_AFTER_DAYS (standardmäßig 14), damit kurz vor dem Umschalten signierte Mail weiterhin verifiziert, und setzt dann die alten Schlüssel außer Dienst.

8.4.1. Sehen, was DNS braucht

Der Daemon prüft stündlich (DNS_CHECK_INTERVAL) jeden autoritativen Server jeder Zone auf den Eintrag jedes Schlüssels, der im DNS stehen muss, und meldet das Ergebnis überall:

  • pepsi-dkim status listet jeden Schlüssel mit seinem Zustand (next, current, retiring, retired) und seinem DNS-Urteil (visible, missing, disagree, solange ein Secondary hinterherhinkt, unknown); pepsi-dkim records gibt die zu veröffentlichenden Einträge als Zonendatei-Zeilen und die entfernbaren als Kommentare aus;

  • pepsi-setup run gibt die fehlenden Einträge mit dem Rest der Zone aus, und pepsi-setup check bewertet jeden veröffentlichten Eintrag, einschließlich eines, den ein DNS-Hoster abgeschnitten hat (ein 3072- oder 4096-Bit-Schlüssel braucht einen TXT-Eintrag, der in mehrere Strings aufgeteilt ist, was manche Hosting-Oberflächen verstümmeln);

  • pepsi-status („DKIM keys“) und die DKIM-Seite der Konsole (/ui/dkim) zeigen dasselbe;

  • der Daemon schreibt dem Postmaster (NOTIFY, NOTIFY_ADDRESS) höchstens einmal täglich, solange ein Eintrag hinzugefügt werden muss, ein Eintrag eines außer Dienst gestellten Schlüssels entfernt werden darf, eine Rotation auf ihre Einträge wartet oder eine Aktualisierung nach RFC 2136 abgelehnt wurde. Jede Mail nennt die Einträge und wiederholt sich täglich, bis die Änderung vorgenommen ist.

Eine Domain, die noch keine Schlüssel hat, erhält sofort eine Generation und signiert sofort. Das geschieht bei einer frischen Installation, bei einer Domain, die der Konfiguration hinzugefügt wurde, und auf einem Host, der ohne das Zustandsverzeichnis des Daemons wiederhergestellt wurde. Bis ihre Einträge veröffentlicht sind, können Empfänger diese Signaturen nicht verifizieren, und DMARC stützt sich allein auf SPF; veröffentlichen Sie also umgehend, was pepsi-setup run ausgibt.

8.4.2. Geplante Rotation

Die Rotation ist standardmäßig aus (ROTATION_DAYS = 0): Eine Generation signiert, bis jemand pepsi-dkim rotate ausführt. Um nach Zeitplan zu rotieren, setzen Sie zum Beispiel Folgendes (M3AAWG rät, mindestens alle sechs Monate zu rotieren):

[pepsi-dkim]
ROTATION_DAYS = 180
# made this long before the switch, to give time to publish (default 28)
ROTATION_LEAD_DAYS = 28

und starten Sie pepsi-dkim.service neu. ROTATION_LEAD_DAYS bevor eine Generation ROTATION_DAYS lang signiert hat, erzeugt der Daemon die next-Generation und fordert ihre Einträge an. Mit WAIT_FOR_DNS = yes (der Voreinstellung) wartet das Umschalten, bis jeder autoritative Server jeden ihrer Einträge ausliefert; die alten Schlüssel signieren derweil weiter, und die Verzögerung wird gemeldet und gemailt. WAIT_FOR_DNS = no schaltet nach Zeitplan um, was immer das DNS ausliefert, was nur dort richtig ist, wo etwas anderes garantiert, dass die Einträge vorhanden sind.

RETIRE_AFTER_DAYS muss die SIGNATURE_EXPIRATION_DAYS jeder pepsi-stage-dkim-sign- und pepsi-stage-arc-Stage (standardmäßig sieben Tage) übersteigen; pepsi-setup validate prüft das. Mit SIGNATURE_EXPIRATION_DAYS = 0 tragen die Signaturen keinen Ablauf, und RETIRE_AFTER_DAYS sollte die MAX_LIFETIME der Zustell-Stages plus einige Tage für die eigenen Warteschlangen der Empfänger abdecken. Danach werden die alten privaten Schlüssel gelöscht, und die alten Einträge dürfen entfernt werden.

[pepsi-dkim] RSA_BITS (2048, 3072 oder 4096; Standard 2048) legt die Größe der RSA-Schlüssel fest, die die nächste Generation erhält; bestehende Schlüssel behalten ihre.

8.4.3. Rotation auf Anforderung

pepsi-dkim -c /etc/pepsi/pepsi.conf rotate example.org
pepsi-dkim -c /etc/pepsi/pepsi.conf rotate --hard example.org

Als root (oder pepsi-dkim) ausführen. Ohne Domain rotiert jede signierende Domain. Die erste Form erzeugt eine next-Generation und schaltet um, sobald ihre Einträge sichtbar sind (oder sofort unter WAIT_FOR_DNS = no); veröffentlichen Sie, was pepsi-dkim records ausgibt. --hard schaltet sofort um, bevor irgendjemand die neuen Einträge veröffentlicht haben kann, sodass mit den neuen Schlüsseln signierte Mail bei DKIM scheitert, bis die Einträge veröffentlicht sind. Diese Form ist für einen Schlüssel gedacht, der offengelegt worden sein könnte (Nach einer Schlüsseloffenlegung). Die DKIM-Seite der Konsole bietet beides als rotate now an; die Schaltfläche reiht eine dkim-rotate-Aufgabe ein, die der root-Applier (pepsi-setup apply) ausführt, daher braucht sie setup:write und einen laufenden Applier.

8.4.4. Die Einträge automatisch veröffentlichen

Wo die Zone dynamische Aktualisierungen annimmt, kann der Daemon die Einträge seiner next- und current-Schlüssel selbst hinzufügen und die außer Dienst gestellter Schlüssel selbst entfernen, per RFC-2136-UPDATE, authentifiziert mit TSIG:

[pepsi-dkim]
DNS_UPDATE = rfc2136
TSIG_KEY_NAME = pepsi-dkim.example.org.
TSIG_ALGORITHM = hmac-sha256
TSIG_SECRET = <base64 of the key>
# default: the zone's primary, the SOA MNAME
DNS_UPDATE_SERVER = ns1.example.org:53

pepsi-setup verschiebt TSIG_SECRET nach /etc/pepsi/secrets.d/pepsi-dkim.secret, allein für pepsi-dkim lesbar. Erlauben Sie dem Schlüssel auf dem DNS-Server nichts als Aktualisierungen von TXT-Einträgen unter _domainkey (für BIND eine update-policy mit subdomain- oder wildcard-Regeln, auf TXT beschränkt): wer den TSIG-Schlüssel hat, kann ändern, was immer dieser darf. Ein Server, der nicht erreichbar ist, wird eine Minute später erneut versucht. Eine Ablehnung (ein falscher Schlüssel, eine Richtlinie, die den Namen verbietet) wird am Schlüssel festgehalten, dem Postmaster gemailt und nicht erneut versucht, bis pepsi-dkim.service neu startet; korrigieren Sie die Einstellungen oder nehmen Sie die Änderung von Hand vor, und starten Sie den Dienst dann neu.

8.4.5. Außer Dienst gestellte Schlüssel veröffentlichen

Eine DKIM-Signatur erlaubt es jedem, der eine Kopie einer Nachricht besitzt, einem Dritten zu beweisen, dass die Domain sie gesendet hat, lange nach der Zustellung (DKIM-Signaturen machen gestohlene Mail nachweisbar zuordenbar). Mit [pepsi-dkim] PUBLISH_RETIRED_KEYS = yes wird ein außer Dienst gestellter privater Schlüssel nicht gelöscht, sondern nach /var/lib/pepsi-dkim-public/retired/<domain>/<selector>.pem geschrieben, und pepsi-httpd liefert ihn unter https://<host>/.well-known/pepsi-dkim-retired/<domain>/<selector>.pem aus. Sobald jeder eine solche Signatur erstellen kann, beweist eine alte nichts mehr. Die Funktion braucht die Rotation, da Schlüssel nur durch Rotation außer Dienst gehen, und einen öffentlichen HTTPS-Listener; pepsi-setup validate warnt, wenn eines davon fehlt.

Ein außer Dienst gestellter Schlüssel wird erst veröffentlicht, wenn jeder autoritative Server aufgehört hat, seine Einträge auszuliefern; bis dahin hält der Daemon ihn unveröffentlicht, weil jeder mit einem veröffentlichten Schlüssel, dessen Eintrag noch aufgelöst wird, als die Domain signieren könnte. Entfernen Sie die Einträge also, wenn der Daemon sie als entfernbar meldet (DNS_UPDATE = rfc2136 erledigt das selbst). Ein Schlüssel, dessen Einträge nie entfernt werden, wird 90 Tage nach seiner Außerdienststellung gelöscht, nicht veröffentlicht.

Bemerkung

Resolver können einen entfernten Eintrag noch halten, bis seine TTL abläuft, daher kann eine mit dem veröffentlichten Schlüssel erstellte Signatur einige Stunden nach der Veröffentlichung bei manchen Empfängern noch verifizieren. Halten Sie die TTL der Selektor-Einträge kurz, wo das wichtig ist.

8.5. Den SRS-Schlüssel rotieren

Das SRS-Geheimnis ([pepsi-srs] SECRET, in /etc/pepsi/secrets.d/pepsi-ingress.secret) signiert jeden umgeschriebenen Umschlagabsender, und ein Bounce kehrt bis zu MAX_AGE_DAYS (standardmäßig 21) später an diese Adresse zurück; dasselbe gilt für die Weiterleitungs-Rücksendeadresse einer weitergeleiteten Kopie, deren Schlüssel aus dem Geheimnis abgeleitet werden. Das Geheimnis einfach zu ersetzen würde jede noch im Umlauf befindliche Adresse bei der Verifikation scheitern lassen, und ihre Bounces würden abgelehnt. Das alte Geheimnis wird daher nur zur Verifikation in [pepsi-srs] PREVIOUS_SECRET_FILE aufbewahrt, bis die letzte Adresse, die es signiert hat, abgelaufen ist:

  1. Verschieben Sie das aktuelle Geheimnis in eine eigene Datei, bis Schritt 3 nur für root lesbar, und lassen Sie PREVIOUS_SECRET_FILE darauf zeigen:

    install -m 0600 /dev/null /etc/pepsi/secrets.d/srs-previous.secret
    sed -n 's/^SECRET *= *//p' /etc/pepsi/secrets.d/pepsi-ingress.secret \
        > /etc/pepsi/secrets.d/srs-previous.secret
    
    [pepsi-srs]
    PREVIOUS_SECRET_FILE = /etc/pepsi/secrets.d/srs-previous.secret
    
  2. Schreiben Sie ein neues Geheimnis in den Abschnitt [pepsi-srs] von secrets.d/pepsi-ingress.secret (SECRET = `` gefolgt beispielsweise von der Ausgabe von ``openssl rand -hex 32), wobei Sie jede andere Zeile der Datei unverändert lassen.

  3. Führen Sie pepsi-setup -c /etc/pepsi/pepsi.conf run aus. Es gibt der Datei des vorherigen Geheimnisses Eigentümer und Modus der aktuellen (pepsi-ingress, 0640) und prüft, dass beide gelesen werden können.

  4. Starten Sie pepsi-ingress sofort neu, denn es liest die Geheimnisse nur einmal, beim Start. pepsi-stage-srs liest sie für jede Nachricht und signiert daher ab diesem Moment mit dem neuen Geheimnis. Zurückkehrende Adressen verifizieren unter jedem der beiden Geheimnisse.

  5. Nach MAX_AGE_DAYS Tagen entfernen Sie PREVIOUS_SECRET_FILE und die Datei und starten pepsi-ingress erneut neu. pepsi-setup run und pepsi-setup check sagen, wann es so weit ist: sie warnen vor einer Datei mit vorherigem Geheimnis, die zuletzt vor mehr als MAX_AGE_DAYS geändert wurde.

8.6. Nach einer Schlüsseloffenlegung

Ein Schlüssel kann Ihrer Kontrolle entglitten sein, zum Beispiel durch einen gestohlenen Laptop mit dem Schlüssel eines Mail-Clients darauf, durch ein verloren gegangenes Backup oder durch eine kompromittierte Stage. Ein solcher Schlüssel bleibt gültig, bis jemand etwas anderes sagt; nichts lässt ihn ablaufen, und Korrespondenten verwenden weiter, was sie zwischengespeichert haben. Die folgenden Schritte hängen davon ab, was offengelegt wurde. Jeder ist idempotent; im Zweifel führen Sie also alle aus:

  1. Der OpenPGP-Schlüssel eines Benutzers oder des Gateways (eine Identität im Schlüsselspeicher): widerrufen Sie ihn und veröffentlichen Sie den Widerruf, in dieser Reihenfolge der Wichtigkeit:

    pepsi-keys -c /etc/pepsi/pepsi.conf identity revoke ID --reason 'laptop stolen' --upload
    

    Jeder Widerruf, ob durch diesen Befehl, durch den E-Mail-Befehl retire des Benutzers oder in der Konsole, erstellt ein Widerrufszertifikat, solange der private Schlüssel noch existiert, und speichert es als öffentliche Hälfte des Schlüssels. Von da an liefert das Web Key Directory den Schlüssel als widerrufen aus. War der Schlüssel zu einem Keyserver hochgeladen worden, wird auch der Widerruf dorthin hochgeladen, weil man einem Keyserver nicht sagen kann, einen Schlüssel zu vergessen; dieser Befehl tut das sofort, sonst tut es pepsi-keys identity publish --retry. --upload sendet den Widerruf auch an einen Keyserver, der den Schlüssel nie hatte. Lässt sich das Zertifikat nicht erstellen, wird nichts widerrufen, und der Befehl kann erneut ausgeführt werden. Die öffentliche Hälfte des widerrufenen Schlüssels wird behalten, damit alte Signaturen weiterhin verifizieren, und die nächste Nachricht von der Adresse erhält unter der üblichen Richtlinie einen frischen Schlüssel (Schlüsselverwaltung). Korrespondenten erfahren vom Widerruf über den Keyserver und das Web Key Directory, wenn sie auffrischen, und über den Autocrypt-Header der nächsten Mail des Benutzers. Ein Korrespondent, der nichts auffrischt, verschlüsselt weiter an den alten Schlüssel, und dagegen gibt es kein Mittel. Der eigene MUA-Schlüssel eines Benutzers wird hier nur lokal widerrufen: Seine private Hälfte und damit sein Widerrufszertifikat liegen in dessen Client.

  2. Das S/MIME-Zertifikat eines Benutzers: bitten Sie die ausstellende CA, es zu widerrufen (Pepsi kann das nicht; die CRL der CA ist das, was prüfende Korrespondenten sehen werden), und widerrufen Sie dann die Identität wie oben (für S/MIME gibt es kein Widerrufszertifikat, und --upload hat keine Bedeutung), damit dieser Host nicht mehr damit signiert.

  3. Ein von Ihnen gelernter Schlüssel eines Korrespondenten ist offengelegt (er hat es Ihnen gesagt, oder sein Widerruf hat Sie nie erreicht): entfernen Sie die zwischengespeicherte Kopie, und die vorliegende Nachricht wird dann wie für einen Korrespondenten ohne Schlüssel behandelt, unter ON_NO_KEY der Encrypt-Stage:

    pepsi-keys -c /etc/pepsi/pepsi.conf peer list --address ADDRESS
    pepsi-keys -c /etc/pepsi/pepsi.conf peer remove PEER-KEY-ID
    

    Eine CA, deren Schlüssel offengelegt ist, wird auf dieselbe Weise deaktiviert oder entfernt (pepsi-keys ca disable CA-ID, ca remove CA-ID). Danach verifiziert hier kein Zertifikat mehr, das sie ausgestellt hat. Ein S/MIME-Zertifikat, das seine CA gelistet hat, wird automatisch außer Dienst gestellt, sobald pepsi-keydisc diese CRL abruft (pepsi-keydisc).

  4. Der Schlüsselverschlüsselungsschlüssel (secrets.d/pepsi-crypto.secret) oder der Prozess der Rolle pepsi-crypto: jeder private MTA-Schlüssel war lesbar. Rotieren Sie den KEK (pepsi-keys wrap rotate), dann widerrufen Sie jede betroffene Identität und erzeugen sie neu wie in Schritt 1; die Rotation allein verpackt nur Schlüssel neu, die ein Angreifer womöglich schon im Klartext besitzt.

  5. Der TLS-Schlüssel eines Listeners: Beziehen Sie ein Zertifikat für einen neuen Schlüssel und veröffentlichen Sie zuerst dessen TLSA-Eintrag, wie Den Schlüssel hinter einem TLSA-Eintrag wechseln es beschreibt, und lassen Sie dann das alte Zertifikat von seiner CA widerrufen (certbot revoke --cert-name mx.example.org --reason keycompromise für eine certbot-Lineage). Peers, die per DANE validieren, akzeptieren den alten Schlüssel nicht mehr, sobald der alte Eintrag weg ist. Peers, die per PKIX validieren, sehen den Widerruf nur, wenn sie prüfen; Pepsi selbst prüft eine geheftete OCSP-Antwort und lehnt ein widerrufenes Zertifikat auf einer validierenden Sitzung ab, ruft aber keinen Status ab. Der Schlüssel des Webservers (die Lineage mx.example.org-web von pepsi-httpd) ist ein separater Schlüssel, den kein TLSA-Eintrag pinnt: Ersetzen Sie ihn mit certbot renew --cert-name mx.example.org-web --force-renewal --new-key und widerrufen Sie das alte Zertifikat; der Mail-Schlüssel ist nicht betroffen. Sein Zertifikat nennt allerdings HOSTNAME, daher können Absender und Mail-Clients, die den MX allein per PKIX authentifizieren, damit getäuscht werden, bis der Widerruf sie erreicht.

  6. Ein DKIM- oder ARC-Schlüssel oder das Konto pepsi-dkim: rotieren Sie sofort mit pepsi-dkim rotate --hard DOMAIN (DKIM-Schlüssel rotieren), veröffentlichen Sie die neuen Einträge, die pepsi-dkim records ausgibt, und entfernen Sie die Einträge des alten Selektors sofort, statt RETIRE_AFTER_DAYS abzuwarten. Vor dem Umschalten signierte Mail scheitert dann unterwegs bei DKIM, was weniger kostet, als den Inhaber des Schlüssels als die Domain signieren zu lassen. Veröffentlichen Sie einen offengelegten Schlüssel nicht mit PUBLISH_RETIRED_KEYS, bevor seine Einträge weg sind. Eine kompromittierte Stage, die als pepsi läuft, konnte die Schlüssel nicht lesen, könnte aber, während sie lief, Mail signieren lassen haben: das Log des Daemons nennt jede Signatur und den anfragenden Prozess.

Was auch immer offengelegt wurde, das Audit-Log (GET /api/v1/events; pepsi-keys und pepsi-queue schreiben hinein) zeigt, wofür der Schlüssel nach dem vermuteten Zeitpunkt verwendet wurde, und Ein Login, das den Eigentümer wechselt, was ein wiederverwendetes Login verliert.

8.7. Sicherung und Wiederherstellung

Warnung

Ein Datenbank-Dump allein ist keine Sicherung von Pepsi. Die privaten Schlüssel in der Datenbank sind unter einem Schlüsselverschlüsselungsschlüssel verschlüsselt, der absichtlich außerhalb der Datenbank liegt, in /etc/pepsi/secrets.d/pepsi-crypto.secret. Geht diese Datei verloren, gehen die gespeicherten privaten Schlüssel aller Benutzer mit ihr verloren: nichts kann sie wieder öffnen, und pepsi-setup erzeugt keinen Ersatz, solange verschlüsselte Schlüssel existieren (siehe Schlüsselverwaltung zu schwer: Ende-zu-Ende-Mail-Clients fehleranfällig oder ungenutzt). Die Verwahrungsgrenze, die diese Trennung aufrechterhält, ist in Die Verwahrungsgrenze für private Schlüssel beschrieben, und was eine Kopie der Datenbank allein liefert und was nicht, in Wer eine Kopie der Datenbank hat.

8.7.1. Was zu sichern ist

Was

Was ohne es verloren geht

/etc/pepsi/secrets.d/, vor allem pepsi-crypto.secret

pepsi-crypto.secret: jeder gespeicherte private Schlüssel (siehe oben). Die anderen Fragmente: der SRS-Schlüssel (Bounces zu Mail, die vor dem Verlust weitergeleitet wurde, werden abgewiesen), der Secure-Link-Pepper (noch nicht abgeholte sichere Nachrichten lassen sich nicht mehr öffnen), der Herkunftsnachweis-Schlüssel (Zahlungsaufforderungen zu Mail, die vor dem Verlust gesendet wurde, werden nicht mehr als unsere erkannt) sowie die Passwörter und Tokens, die Sie eingegeben haben (Smarthost- und LMTP-Passwörter, das LDAP-Bind-Passwort der Schlüsselentdeckung, das Passwort der List-API, die OAuth-Client-Zugangsdaten des Token-Auffrischers und die API-Schlüssel mpki-<domain>.secret der CA-Konten der Managed PKI, ohne die kein Zertifikat bestellt, erneuert oder widerrufen wird, bis Sie wieder einen Schlüssel speichern). Ein außer Dienst gestelltes SRS-Geheimnis, das [pepsi-srs] PREVIOUS_SECRET_FILE nennt, gehört ebenfalls in die Sicherung, solange es konfiguriert ist.

Die PostgreSQL-Datenbank (standardmäßig pepsi)

Die Warteschlange, benutzerbezogene Einstellungen, Whitelists, Mailinglisten und ihr Archiv, der Schlüsselspeicher, Quotas, Administratorkonten und API-Tokens, das Prüfprotokoll.

/etc/pepsi/ (der Rest)

Die Konfiguration. Sie lässt sich mit dem Assistenten neu schreiben, aber nicht schnell.

/var/lib/pepsi-dkim/

Lassen Sie es weg. Es enthält die privaten DKIM- und ARC-Schlüssel, die nicht in eine Sicherung gehören: eine Kopie ist ein weiterer Ort, an dem sie abhandenkommen können. Nach einer Wiederherstellung ohne es erzeugt der Daemon frische Schlüssel unter neuen Selektoren und signiert sofort mit ihnen, was einer Rotation entspricht; veröffentlichen Sie die Einträge, die pepsi-setup run ausgibt, und entfernen Sie die alten. Bis die neuen Einträge veröffentlicht sind, scheitert DKIM bei Empfängern, und DMARC stützt sich auf SPF.

/var/lib/pepsi-wallets/

Mit pepsi-stage-auto-pay im gemeinsamen Wallet-Modus: die Wallets und das Geld darin. Im Modus local-user liegen die Wallets in den Home-Verzeichnissen der Benutzer.

/etc/letsencrypt/

Nichts Dauerhaftes; certbot beschafft neue Zertifikate. Behalten Sie es trotzdem, wenn Sie DANE-(TLSA-)Einträge für den aktuellen Schlüssel veröffentlichen.

/var/pepsi/tokens, /var/pepsi/token-refresh, /var/pepsi/tls

Nur bei einem Smarthost mit OAuth oder Client-Zertifikat: Das Refresh-Token muss erneut autorisiert werden.

Die Postfächer der Benutzer (Maildir oder der Speicher des MDA hinter LMTP) gehören nicht zu Pepsi und gehören in Ihre gewöhnliche Sicherung der Home-Verzeichnisse.

Bewahren Sie die Dateien und den Datenbank-Dump zusammen auf, und aus demselben Zeitpunkt: ein Dump, der neuer ist als secrets.d, kann Schlüssel enthalten, die unter einem Schlüsselverschlüsselungsschlüssel verpackt sind, den die Dateisicherung nicht hat. Beide enthalten Geheimnisse; speichern Sie sie verschlüsselt und nur für root lesbar. Der Datenbank-Dump enthält außerdem Nachrichten in der Warteschlange, die bei Mail, die Pepsi entschlüsselt hat, Klartext sind (siehe Entschlüsselte Mail, Schlüssel oder Betreffs in Logs und lokalem Speicher abgelegt).

8.7.2. Eine Sicherung anlegen

sudo -u pepsi-owner pg_dump --format=custom pepsi > pepsi-$(date +%F).dump
tar -C / -czpf pepsi-files-$(date +%F).tar.gz \
    etc/pepsi var/pepsi var/lib/pepsi-wallets

Führen Sie dies als root aus, damit tar secrets.d lesen kann. Ein [pepsi-mpki] CREDENTIAL_DIR außerhalb von /etc/pepsi müssen Sie zum tar-Befehl hinzufügen. pg_dump nimmt einen konsistenten Schnappschuss, während die Dienste laufen; die Dateien ändern sich selten (ein neuer Schlüssel, eine Konfigurationsänderung), daher genügt es, sie kurz vor oder nach dem Dump zu sichern. Datenbankname und Eigentümer sind die aus [pepsi-postgres].

Der Dump enthält die Liste bekanntermaßen kompromittierter Schlüssel (pepsi.compromised_key, etwa 240 MB). Sie ist die eine große Tabelle, auf die eine Wiederherstellung verzichten könnte: Wenn Sie sie weglassen (--exclude-table-data=pepsi.compromised_key), bleibt der Dump klein, und nach einer Wiederherstellung ruft pepsi-keys blocklist update --force die Liste erneut ab. Die Moduli, die pepsi-keys peer screen faktorisiert hat (Quelle screen), sind dann allerdings verloren, bis der nächste Screen-Lauf sie wiederfindet.

Der Dump, den pepsi-setup schema --backup-dir vor einem Upgrade anlegt (siehe Sicherung vor einem Schema-Upgrade), umfasst nur die Datenbank, und nur das Schema pepsi, und nur die zwei neuesten solchen Dumps werden aufbewahrt; er ersetzt dies nicht.

8.7.3. Wiederherstellen

Stellen Sie auf einem Host wieder her, auf dem dasselbe Pepsi-Release läuft, aus dem die Sicherung stammt (führen Sie danach ein Upgrade durch, wenn Sie möchten), in dieser Reihenfolge:

  1. Installieren Sie Pepsi. Das Debian-Paket legt die Dienstkonten und Datenbankrollen an; bei einer Installation aus den Quellen legen Sie sie wie in Installation an.

  2. Halten Sie alles an: systemctl stop pepsi.target.

  3. Stellen Sie die Dateien wieder her, secrets.d zuerst. tar bewahrt Eigentümer nach Namen, daher müssen die Konten existieren, bevor Sie auspacken:

    tar -C / -xzpf pepsi-files-2026-10-01.tar.gz
    
  4. Stellen Sie die Datenbank in eine leere Datenbank wieder her, die dem Schema-Eigentümer gehört:

    sudo -u postgres dropdb --if-exists pepsi
    sudo -u postgres createdb -O pepsi-owner pepsi
    sudo -u pepsi-owner pg_restore -d pepsi pepsi-2026-10-01.dump
    
  5. Führen Sie pepsi-setup -c /etc/pepsi/pepsi.conf run aus. Es wendet die Rollenberechtigungen erneut an, schreibt neu, was außerhalb beider Sicherungen liegt (die systemd-Drop-ins, die den Diensten die TLS-Zertifikate übergeben), und lässt pepsi-dkim frische DKIM- und ARC-Schlüssel erzeugen, da diese nicht in der Sicherung sind. Einen bereits vorhandenen Schlüssel oder ein Geheimnis ersetzt es nicht. Veröffentlichen Sie die DKIM-Einträge, die es ausgibt (neue Selektoren), und entfernen Sie die Einträge der alten Selektoren.

  6. Starten Sie die Dienste: systemctl start pepsi.target.

Wenn pepsi-setup meldet, es weigere sich, einen Schlüsselverschlüsselungsschlüssel zu erzeugen, weil Identitäten existieren, dann wurde secrets.d/pepsi-crypto.secret nicht wiederhergestellt oder ist nicht die Datei, die zu dieser Datenbank gehört. Umgehen Sie das nicht: Suchen Sie die richtige Datei.

8.7.4. Geklonte und wiederhergestellte virtuelle Maschinen

Jeder Schlüssel, jede Nonce und jedes Geheimnis, das Pepsi erzeugt, stammt aus dem Zufallszahlengenerator des Betriebssystems. Auf einer virtuellen Maschine ist der Zustand dieses Generators Teil jedes Snapshots: zwei aus einem Snapshot gestartete Instanzen oder eine zweimal wiederhergestellte Instanz können dieselben „zufälligen“ Bytes ziehen, bis etwas sie neu seedet. Unter ENABLE_PEP erzeugt ein Host die Langzeitschlüssel jedes Benutzers, und pepsi-setup erzeugt den Schlüsselverschlüsselungsschlüssel, sodass ein wiederholter Zustand sie alle auf einmal vorhersagbar machen würde. Darauf zu warten, dass der Generator geseedet ist, hilft nicht: nach einem Klonen ist er geseedet, mit dem Zustand des Originals.

  • Starten Sie eine geklonte oder wiederhergestellte Instanz neu, bevor sie irgendetwas erzeugt, und bevor sie die Pepsi-Dienste startet: ein frischer Boot seedet den Generator des Kernels neu, und danach gestartete Prozesse ziehen aus ihm. Das Wiederherstellen einer Sicherung auf einem neu installierten Host hat dieses Problem nicht; das Wiederherstellen eines ganzen VM-Images schon.

  • Lassen Sie den Hypervisor es automatisch erledigen. Ein Hypervisor, der eine VM-Generation-ID bereitstellt (QEMU/KVM -device vmgenid, Hyper-V, VMware), lässt den Linux-Treiber vmgenid ein Klonen oder Wiederherstellen bemerken und den Generator des Kernels sofort neu seeden. Prüfen Sie, ob das Gerät vorhanden ist (ls /sys/bus/acpi/devices/ | grep -i -e VMGENID -e QEMUVGID), und schalten Sie es ein, wo es fehlt.

  • Pepsi warnt vor dem, was es kurz nach einer Änderung erzeugt hat. Der Treiber kündigt die Änderung mit einem udev-Ereignis an, bei dem Pepsis udev-Regel (60-pepsi.rules) /run/pepsi-vmgenid-changed anlegt bzw. aktualisiert. Das Erzeugen eines OpenPGP- oder S/MIME-Schlüssels (pepsi-keys, die Encrypt-Stage unter ENABLE_PEP), eines Einmalpasswort-Geheimnisses, des Schlüsselverschlüsselungsschlüssels oder einer neuen Verpackung der privaten Schlüssel innerhalb von zehn Minuten danach protokolliert eine Warnung, die nennt, was erzeugt wurde. Wenn die Instanz seit der Änderung nicht neu gestartet wurde, starten Sie sie neu, und widerrufen und erzeugen Sie dann neu, was die Warnungen nennen (Nach einer Schlüsseloffenlegung). Ohne den Treiber oder ohne die Regel wird nichts aufgezeichnet und vor nichts gewarnt.