95.1.26. pepsi-stage-auto-whitelist

whitelist recipients of outgoing mail

Handbuchabschnitt:

1

95.1.26.1.1. Name

pepsi-stage-auto-whitelist - die empfänger-aufzeichnende Stage der Pepsi-Pipeline.

95.1.26.1.2. Übersicht

pepsi-stage-auto-whitelist [GLOBAL-OPTIONS] worker

95.1.26.1.3. Beschreibung

Diese Stage hat den Standardwert FUSION = yes: Wenn Stage-Fusion aktiviert ist ([pepsi] ALLOW_FUSION, der Standardwert) und diese Stage in das vereinheitlichte pepsi-Binärprogramm eingefaltet ist, kann ein Vorgänger sie in seinem eigenen Worker-Prozess ausführen, statt sie separat zu dispatchen. Siehe pepsi-dispatch(1) und pepsi.conf(5).

pepsi-stage-auto-whitelist ist ein Stage-Programm, das pepsi-dispatch(1) als persistenten Worker ausführt; der Worker liest Nachrichten-IDs von der Standardeingabe. Für jede ID lädt es den pepsi.workqueue-Datensatz (und weigert sich zu handeln, sofern sein status nicht running ist) und liest seinen [stage-<stage>]-Abschnitt. Es ist das schreibseitige Gegenstück zu pepsi-stage-check-whitelist(1): Während eine ausgehende Nachricht durchläuft, hält es jeden Umschlagempfänger (rcpt_to) in einer benannten weißen Liste fest. Wenn diese Person später antwortet, erkennt pepsi-stage-check-whitelist(1) ihren From:-Header und lässt die Antwort die Zahlungsschranke des Anti-Spam überspringen. Platzieren Sie es auf dem ausgehenden Pfad (zum Beispiel vor einer Relay-Stage).

Die weiße Liste liegt in der pepsi.whitelist-Tabelle, geteilt mit pepsi-stage-check-whitelist(1); diese Stage fügt nur in sie ein (und frischt die Mailinglisten-Datensätze auf, die sie gelernt hat). Jede Empfängeradresse wird als whitelist_regex gespeichert: Die Adresse wird kleingeschrieben, jedes nicht-alphanumerische Zeichen wird mit einem Backslash escaped, sodass es wörtlich passt, und das Ergebnis wird an ^/$ verankert, sodass es genau auf diese Adresse und auf nichts sonst passt. Die Prüf-Stage gleicht diesen Regex unabhängig von der Groß-/Kleinschreibung (PostgreSQLs ~*-Operator) gegen die aus dem From:-Header einer Antwort geparste addr-spec ab, nicht gegen den rohen Header-Wert. Eine Adresse auf der weißen Liste, die in die Anzeigenamen-Position geschrieben wird (From: "bob@example.com" <evil@attacker.example>), kann daher keinen Treffer vortäuschen. Die Verankerung an den Grenzen verhindert zusätzlich, dass bob@example.com.evil passt.

Jeder eingefügte Datensatz trägt drei Bedingungs-Flags, die bestimmen, wann eine künftige Antwort als auf der weißen Liste stehend zählt:

  • dkim_required wird aus der DKIM_REQUIRED-Option der Stage gesetzt (Standardwert yes): Wenn true, wird der Antwort nur vertraut, wenn ihre From:-Domain authentifiziert ist: durch einen DKIM-Pass oder durch einen ARC-Pass, den DMARC ebenfalls bestätigt (siehe pepsi-stage-check-whitelist(1)).

  • dmarc_required wird aus der DMARC_REQUIRED-Option der Stage gesetzt (Standardwert yes): Wenn true, wird der Antwort nur vertraut, wenn sie DMARC über einen ausgerichteten Bezeichner bestanden hat, ein ausgerichteter SPF-Pass eingeschlossen. Ein dkim_required-Pass impliziert es; mit DKIM_REQUIRED = no (für Korrespondenten, deren Domains nicht signieren) ist es das, was den Datensatz noch an einen authentifizierten Absender bindet, sodass ein gefälschtes From:, das einen Korrespondenten nennt, nicht passt.

  • signature_required wird auf true gesetzt, wenn der State der ausgehenden Nachricht encrypted: true hat (die Nachricht war Ende-zu-Ende-verschlüsselt), sonst false. Diesen Schlüssel schreibt pepsi-stage-encrypt(1), daher muss diese Stage nach der Verschlüsselungs-Stage laufen (und darf, da sie keinen Inhalt ändert, zwischen ihr und pepsi-stage-dkim-sign(1) laufen, wo pepsi-setup(1) --wizard sie platziert). Steht die Stage weiter vorn, trägt kein Datensatz jemals das Flag. Steht sie richtig, passt ein Datensatz für einen verschlüsselt erreichten Korrespondenten nur dann auf eine Antwort, wenn die Antwort mit einer verifizierten Signatur eintrifft (state.signature_verified, das pepsi-stage-decrypt(1) setzt).

Jeder Empfängerdatensatz wird mit match_field = 'from' geschrieben: Festgehalten wird eine Adresse, von der eine Antwort kommen wird.

95.1.26.1.3.1. Mailinglisten

Die Beiträge einer Mailingliste tragen beliebige From:-Adressen, daher können die Empfängerdatensätze sie nicht abdecken. Mit gesetztem LIST_WHITELIST_NAME lernt die Stage außerdem die Listen, die ihre Benutzer abonnieren, als match_field = 'list-id'-Datensätze, die gegen das List-Id: eines Beitrags abgeglichen werden. Sie lernt nur aus einem Signal: dass der Benutzer auf die Abonnement-Bestätigungsanfrage einer Liste antwortet. Das ist eine bewusste Handlung. Die Stage lernt nicht aus einer Antwort auf irgendeine Nachricht, die ein List-Id: trug, da sonst jeder, der eine Nachricht beantwortet bekommt, eine Regel einschleusen könnte.

Die Bestätigungsanfrage ist eingehende Mail, und diese Stage sieht nur ausgehende Mail, daher werden beide über pepsi.list_confirmation miteinander verknüpft: pepsi-stage-check-whitelist(1) mit RECORD_LIST_CONFIRMATIONS hält jede Anfrage fest, die es sieht (nach ihrer Message-ID:, ihrem Empfänger, ihrer Liste und ihren Steueradressen), und diese Stage lernt die Liste, wenn für eine ausgehende Nachricht alles Folgende gilt:

  • sie ist lokal eingeliefert (state.local_origin);

  • eine festgehaltene Anfrage, noch innerhalb von LIST_CONFIRMATION_DAYS, wurde genau an diesen Umschlag-Absender zugestellt;

  • die Nachricht ist an eine der Steueradressen dieser Anfrage adressiert (die -request- / -confirm+<token>-Adresse, an die die Antwort geht); und

  • ihr In-Reply-To: nennt die Message-ID: der Anfrage.

Die ersten drei werden aus dem Umschlag beantwortet; der Header-Block, den diese Stage sonst nie lädt, wird nur für eine Nachricht gelesen, die bereits wie eine Bestätigungsantwort aussieht. Der Datensatz wird in den eigenen Namensraum des Absenders geschrieben: LIST_WHITELIST_NAME muss mit {login}/ beginnen, das genauso expandiert wird wie in pepsi-stage-check-whitelist(1), sodass eine Liste, der ein Benutzer beigetreten ist, nie für jemand anderen auf die Whitelist kommt. Der Datensatz hat ein exaktes ^…$-Muster des Listenbezeichners, dkim_required aus DKIM_REQUIRED (Standardwert yes: Ein List-Id: ist Text, den jeder kopieren kann, also muss ein Beitrag weiterhin authentifiziert sein), dmarc_required aus DMARC_REQUIRED und kein sealer_domain. (Das zu pinnen, was die Anfrage versiegelt hat, wäre Vertrauen beim ersten Gebrauch und würde die Regel stillschweigend brechen, wenn die Liste ihre Infrastruktur wechselt.) Das Verlassen einer Liste sendet kein Signal, daher läuft ein gelernter Datensatz ab. Er trägt last_seen und max_idle (LIST_MAX_IDLE_DAYS, Standardwert 180). Die Prüf-Stage ignoriert den Datensatz, sobald last_seen + max_idle verstrichen ist, und schiebt last_seen nach vorn, wann immer ein authentifizierter Beitrag der Liste auf ihn passt; pepsi-queue gc löscht ihn. Ein nie ablaufender Datensatz für dieselbe Liste (mit pepsi-whitelist add-list geschrieben oder an einer pepsi-whitelist import-Rückfrage bestätigt) bleibt, wie er ist.

Wie eine Anfrage erkannt wird und was es daher braucht, eine einzuschleusen, wird unter „Bestätigungsanfragen von Mailinglisten“ in pepsi-stage-check-whitelist(1) beschrieben.

Bestehende Datensätze bleiben unberührt (das Einfügen ist ON CONFLICT DO NOTHING auf dem UNIQUE(whitelist_name, match_field, whitelist_regex)-Constraint), sodass das erneute Verarbeiten einer Nachricht harmlos ist. Die Stage schaltet die Nachricht dann zu NEXT_STAGE weiter. Sie verändert nie das eigene state der Nachricht und verwirft, bounct oder pausiert eine Nachricht nie; eine Nachricht ohne Empfänger schaltet einfach weiter.

95.1.26.1.4. Konfiguration

Die Optionen liegen im eigenen [stage-<name>]-Abschnitt der Stage (PROGRAM = pepsi-stage-auto-whitelist): das erforderliche WHITELIST_NAME, das die zu befüllende Gruppe nennt (ein literaler Whitelist-Name; die Stage expandiert keinen {login}- oder {localpart}-Platzhalter und weist einen Wert zurück, der einen enthält), DKIM_REQUIRED und DMARC_REQUIRED (beide Standardwert yes), die Mailinglisten-Optionen LIST_WHITELIST_NAME (nicht gesetzt: keine Listen werden gelernt) und LIST_MAX_IDLE_DAYS (Standardwert 180, 1 bis 3650) und ein NEXT_STAGE. Auch das NEXT_STAGE ist erforderlich: Die Stage vermerkt die Empfänger und reicht die Nachricht danach immer weiter, daher weist pepsi-setup einen Abschnitt ohne NEXT_STAGE zurück. Die Optionen sind in pepsi.conf(5) dokumentiert.

95.1.26.1.4.1. Wessen Whitelist

Die Stage läuft auf dem ausgehenden Pfad, daher werden die adressbezogenen Schichten der Konfiguration für den Absender des Umschlags nachgeschlagen: Die pepsi.config_override-Datensätze dieser Adresse im Geltungsbereich domain:/address: und ihr pepsi.settings-Datensatz entscheiden, in welche Liste ihre Empfänger geschrieben werden.

Der Betreiber darf in jeder seiner eigenen Schichten jede Whitelist benennen, auch eine gemeinsame: in der INI-Datei, in pepsi.config_override in jedem Geltungsbereich und in einem mit pepsi-settings(1) geschriebenen pepsi.settings-Datensatz. Die Stage schreibt in den effektiven Wert, so wie sie ihn vorfindet.

Ein Kontoinhaber, der diese Stage per Mail bearbeiten darf (sie steht in EDITABLE_STAGES von pepsi-stage-edit-settings(1)), darf nur eine eigene Whitelist wählen: einen Namen im Namensraum <login>/... des Kontos, zu dem seine Adresse aufgelöst wird (etwa alice/sent), oder die Whitelist, die die Konfiguration des Betreibers bereits für ihn benennt. pepsi-stage-edit-settings(1) weist alles andere zurück, weil er sonst diese Liste mit Adressen seiner Wahl füllen könnte: eine gemeinsame Liste, die Liste eines anderen Benutzers oder irgendeinen Wert für eine Adresse, die kein lokales Konto ist. Der Login wird so aufgelöst, wie pepsi-stage-check-whitelist(1) {login} auflöst: Die Domain der Adresse muss eine der LOCAL_DOMAINS sein (Standard [pepsi-ingress] ACCEPTED_DOMAINS), ihr Local-Part ohne die Subadresse nach RECIPIENT_DELIMITER muss ein passwd-Login sein, und dieses Konto muss von TARGETS zugelassen sein. Diese drei Optionen werden aus dem Stage-Abschnitt des Betreibers gelesen, nie aus der eigenen Überschreibung des Inhabers.

Ein Unternehmen möchte vielleicht, dass jeder Korrespondent erkannt wird, egal wem er antwortet, etwa ein Kunde, der gebeten wurde, einem Kollegen statt dem Mitarbeiter zu schreiben, der ihn zuerst angeschrieben hat. Ein solches Unternehmen teilt eine Whitelist unter allen lokalen Benutzern; diese Stage schreibt sie, und die Prüf-Stage liest sie:

[stage-auto-whitelist]
PROGRAM = pepsi-stage-auto-whitelist
NEXT_STAGE = dkim-sign
WHITELIST_NAME = correspondents

[stage-check-whitelist]
PROGRAM = pepsi-stage-check-whitelist
NEXT_STAGE = anti-spam
WHITELIST_NAME = correspondents

95.1.26.1.5. State

Eingaben: Die Umschlagempfänger stammen aus der rcpt_to-Spalte; state.encrypted setzt das gespeicherte signature_required-Flag. pepsi-stage-encrypt(1) schreibt diesen Schlüssel, früher auf demselben ausgehenden Pfad, wenn die ausgehende Nachricht tatsächlich an einen Empfängerschlüssel verschlüsselt wurde. Ein unter Verschlüsselung erreichter Korrespondent wird so später am selben Maßstab gemessen.

Ausgaben: keine an der Nachricht selbst; das Nachrichten-state bleibt unberührt. Der Nebeneffekt ist ein pepsi.whitelist-Datensatz pro Empfänger, dazu ein gelernter list-id-Datensatz pro Liste, deren Bestätigungsanfrage die Nachricht beantwortet (siehe „Mailinglisten“). Das State-Layout wird in pepsi.state(7) beschrieben.

Übergänge: schaltet immer zu NEXT_STAGE weiter: nach dem Einfügen eines Datensatzes der weißen Liste pro Umschlagempfänger, oder unverändert, wenn es keine gibt. Es gibt keine Verzweigung, kein Umleiten und kein Abschließen. Nur eine adressbezogene Überschreibung, die den Abschnitt der Stage kaputt macht, lässt die Nachricht fehlschlagen (dauerhaft, wie den Konfigurationsfehler jeder Stage); ein fehlgeschlagenes Festhalten nicht (siehe „Fehlschläge“).

95.1.26.1.6. Befehle

worker

Läuft als persistenter pepsi-dispatch(1)-Worker, der Nachrichten-IDs von der Standardeingabe liest.

95.1.26.1.7. Fehlschläge

Das Festhalten ist fail-open. Schlägt das INSERT fehl (ein Datenbankfehler, eine fehlende Berechtigung) oder lässt sich die Mailinglisten-Prüfung nicht abschließen, protokolliert die Stage eine Warnung und schaltet die Nachricht trotzdem weiter: Die Whitelist ist eine Annehmlichkeit für die Antwort des Empfängers, und die ausgehende Mail des Benutzers zurückzuhalten, bis sie festgehalten werden kann, wäre verkehrt herum. Ein Muster, das PostgreSQL nicht kompilieren konnte, wird nie geschrieben (die Muster sind maskierte Adressen, daher ist dies eine Absicherung, kein erwarteter Fall).

95.1.26.1.8. Globale Optionen

-c FILE, –config FILE

Liest die Konfiguration aus FILE, statt die Standardorte zu durchsuchen.

-L LOGLEVEL, –log LOGLEVEL

Setzt die Log-Ausführlichkeit (Standardwert [pepsi] LOG, sonst info).

-v, –verbose

Zeigt Log-Meldungen aus allen Quellen.

-h, –help; -V, –version

Gibt eine Verwendungsübersicht / die Version aus und beendet sich.

95.1.26.1.9. Exit-Status

Das Ergebnis jeder Nachricht wird pepsi-dispatch(1) auf der Statuszeile des Workers gemeldet, nicht als Exit-Status.

0

Der Worker lief, bis seine Standardeingabe geschlossen wurde.

1

Ein fataler Fehler ist aufgetreten (unlesbare Konfiguration, die Datenbank konnte nicht geöffnet werden, oder Standardein-/-ausgabe schlug fehl). Der Grund wird in das Journal geschrieben.

78

Der Worker hat den Start verweigert: Ein [stage-*]-Abschnitt, den er bedient, lässt sich nicht parsen (z. B. ein fehlendes WHITELIST_NAME, ein Platzhalter darin, ein LIST_WHITELIST_NAME, das nicht mit {login}/ beginnt, oder ein LIST_MAX_IDLE_DAYS außerhalb von 1 bis 3650). Der Dispatcher reiht erneut ein, was er übergeben hatte, und versucht die Stage später wieder.

95.1.26.1.10. Beispiele

Die Empfänger von Nachricht 42 festhalten (sie muss running sein):

echo 42 | pepsi-stage-auto-whitelist -c /etc/pepsi/pepsi.conf worker

Ein ausgehender Pipeline-Abschnitt, der jeden auf die weiße Liste setzt, dem wir mailen, und verlangt, dass ihre Antworten von einer authentifizierten From:-Domain kommen:

[stage-auto-whitelist]
PROGRAM = pepsi-stage-auto-whitelist
NEXT_STAGE = srs
WHITELIST_NAME = trusted-senders
DKIM_REQUIRED = yes

95.1.26.1.11. Siehe auch

pepsi-config(1), pepsi-stage-check-whitelist(1), pepsi-stage-anti-spam(1), pepsi-stage-arc(1), pepsi-dispatch(1), pepsi.conf(5), pepsi.state(7), pepsi-setup(1)

95.1.26.1.12. Fehler

Melden Sie Fehler an den Pepsi-Issue-Tracker.