95.1.31. pepsi-stage-block-language

route a message by its detected body language(s)

Handbuchabschnitt:

1

95.1.31.1.1. Name

pepsi-stage-block-language - die Sprachrichtlinien-Stage der Pepsi-Pipeline.

95.1.31.1.2. Übersicht

pepsi-stage-block-language [GLOBAL-OPTIONS] worker

95.1.31.1.3. Beschreibung

Diese Stage hat den Standardwert FUSION = yes: Wenn Stage-Fusion aktiviert ist ([pepsi] ALLOW_FUSION, der Standardwert) und diese Stage in das vereinheitlichte pepsi-Binärprogramm eingefaltet ist, kann ein Vorgänger sie in seinem eigenen Worker-Prozess ausführen, statt sie separat zu dispatchen. Siehe pepsi-dispatch(1) und pepsi.conf(5).

pepsi-stage-block-language ist ein Stage-Programm, das pepsi-dispatch(1) als persistenten Worker ausführt; der Worker liest Nachrichten-IDs von der Standardeingabe. Für jede ID lädt es den pepsi.workqueue-Datensatz (und weigert sich zu handeln, sofern sein status nicht running ist) und liest seinen [stage-<stage>]-Abschnitt. Dann bewertet es die menschliche(n) Sprache(n), die pepsi-stage-detect-language(1) unter state.language festgehalten hat, gegen eine konfigurierte weiße und schwarze Liste und routet die Nachricht entsprechend: Oberhalb der Bewertungsschwelle schaltet sie zu NEXT_STAGE weiter, andernfalls wird sie blockiert. Die Option ENFORCEMENT bestimmt, was Blockieren bedeutet: ein Bounce oder ein Flag auf einer Nachricht, die trotzdem zugestellt wird (siehe Durchsetzung unten). Der Rest von state (state.dsn, der Ingress-origin, …) bleibt erhalten; die Stage fügt ihm nur das state.bounce einer harten Blockierung hinzu (siehe State unten).

95.1.31.1.4. Bewertung

state.language ist eine Zeichenkette im HTTP-Accept-Language-Stil aus code;q=quality-Elementen, wobei jede quality die Erkennungswahrscheinlichkeit dieser Sprache ist. Die Stage wandelt sie in eine einzelne Zahl um:

score = Σ q over languages listed in WHITELIST
      − Σ q over languages listed in BLACKLIST

Sprachen auf keiner der Listen tragen nichts bei. Steht zum Beispiel Englisch auf der weißen und Französisch auf der schwarzen Liste, so bewertet sich eine als en;q=0.7, fr;q=0.3 festgehaltene Nachricht zu 0.7 − 0.3 = 0.4.

Ein Listeneintrag ist ein Sprachbereich, der nach dem einfachen Filtern von RFC 4647 §3.3.1 gegen ein erkanntes Tag abgeglichen wird: Der Bereich passt, wenn er dem Tag gleicht oder einem Präfix davon, auf das - folgt. Ein schlichtes de passt also auf ein erkanntes de-CH, und ein engeres de-CH, das die Listen ebenfalls annehmen, passt nur auf ein erkanntes de-CH, nicht auf ein blankes de.

Wenn keine Sprache erkannt wurde (state.language fehlt), wird die Bewertung gegen die Pseudo-Verteilung none;q=1 berechnet. Der literale Pseudo-Code none kann selbst in WHITELIST oder BLACKLIST erscheinen, sodass ein Betreiber über das Schicksal nicht erkannter Mail entscheidet: none auf die schwarze Liste zu setzen bewertet sie mit −1, auf die weiße Liste mit +1, und sie nirgends aufzuführen belässt sie bei 0.

Manche Nachrichten tragen ein explizites state.spam = false-Urteil, gesetzt von einem vorgelagerten Treffer auf einer weißen Liste (pepsi-stage-check-whitelist(1)) oder von Ingress für Mail, die ausschließlich an das reservierte <Postmaster>-Postfach gerichtet ist (RFC 5321 §4.5.1). Eine solche Nachricht umgeht die Sprachrichtlinie vollständig und schaltet unabhängig von ihrer erkannten Sprache zu NEXT_STAGE weiter.

Andernfalls schaltet eine Nachricht, deren Bewertung strikt größer als THRESHOLD ist, zu NEXT_STAGE weiter; eine auf oder unter diesem Wert wird blockiert. Eine Nachricht, die bereits ein Bounce ist (der leere Umschlagabsender), ist in beiden Durchsetzungsmodi ausgenommen: Sie schaltet unabhängig von ihrer Bewertung zu NEXT_STAGE weiter, denn ein Bounce darf nie gebounct werden, und ein Flag würde dann einen Bounce behaupten, der ohnehin nie stattgefunden hätte.

Bemerkung

Da der Vergleich strikt ist und nicht gelistete Sprachen 0 beitragen, benötigt eine Richtlinie nach dem Muster „alle erlauben außer einer schwarzen Liste“ einen negativen THRESHOLD. Mit dem Standardwert THRESHOLD = 0.0 und nur gesetzter BLACKLIST erhält jede Nachricht in neutraler Sprache den Wert 0. Dieser ist nicht größer als 0, also wird die Nachricht blockiert. pepsi-setup(1) warnt vor genau dieser Fehlkonfiguration (eine BLACKLIST mit leerer WHITELIST und einem nicht-negativen THRESHOLD).

Diese Stage pausiert eine Nachricht nie, und der Nachrichtentext wird nie geladen.

95.1.31.1.5. Durchsetzung

ENFORCEMENT entscheidet, was mit einer blockierten Nachricht geschieht. Beide Modi wirken auf genau dieselbe Menge von Nachrichten: Für alles, wofür hard einen Bounce erzeugt, setzt soft ein Flag.

hard (der Standardwert)

Die Nachricht wird mit einem permanenten Failure-DSN-state zu BOUNCE_STAGE geroutet, sodass pepsi-stage-bounce(1) nur dann einen Bounce ausgibt, wenn das NOTIFY des Absenders FAILURE anfordert (der Standardwert bei Abwesenheit). So oder so wird die Nachricht nicht zugestellt. An der Nachricht selbst wird nichts umgeschrieben. pepsi-setup(1) weist eine hard-Stage ohne BOUNCE_STAGE zurück, und ihr Worker verweigert bei einem solchen Abschnitt den Start, da er sonst jede Nachricht fehlschlagen ließe, die die Richtlinie abweist.

Eine Nachricht mit mehreren Umschlagempfängern wird zuerst aufgeteilt, sodass jeder Empfänger auf seinem eigenen Datensatz blockiert wird und daher seine eigene empfängerbezogene Gruppe in der DSN erhält (RFC 3464 §2.3.1) und nach seinem eigenen NOTIFY beurteilt wird. Ohne die Aufteilung würde der Bericht eine Adresse nennen und den Absender im Glauben lassen, die übrigen seien zugestellt worden.

Eine Nachricht, deren Inhalt aus einem Chiffrat ohne Integritätsschutz stammt oder sich daraus nicht öffnen ließ (ein S/MIME-EnvelopedData, AES-CBC; von pepsi-stage-decrypt(1) in state.crypto.in festgehalten), wird nicht gebounct: Sie wird markiert und wie unter soft weitergeschaltet. Ob sich ein verändertes CBC-Chiffrat öffnen lässt, entscheidet, welche Sprache erkannt wird, sodass ein Bounce für das eine Ergebnis und keiner für das andere ihrem Absender verraten würde, ob das Padding gültig war.

soft

Die Nachricht wird trotzdem zugestellt, markiert, und schaltet zu NEXT_STAGE weiter:

  • SUBJECT_FLAG_LABEL (Standardwert [!LANG]) wird an sein Subject: angehängt, im Header-Block und in der subject-Spalte des Datensatzes, sodass die Markierung sowohl für den Empfänger als auch für pepsi-queue(1) sichtbar ist. Sie wird nur angehängt, wenn der Betreff sie nicht bereits enthält, unabhängig von der Groß-/Kleinschreibung, sodass eine Antwort, die sie durch diese Stage zurückzitiert, keine zweite ansammelt. Eine Nachricht, die ohne Subject:-Feld ankam, bekommt keines, weil die Stage keinen Header erfindet; ihre Spalte wird aber dennoch markiert.

  • Ein X-Pepsi-Detected-Languages-Header wird hinzugefügt, der die Erkennung in derselben code;q=value-Form trägt wie ein HTTP-Accept-Language-Header. Er wird aus der Verteilung neu gerendert, die tatsächlich bewertet wurde, wobei jede Qualität auf zwei Nachkommastellen gerundet wird; so können Feld und Entscheidung nicht auseinandergehen. Bei nicht erkannter Mail trägt er die Pseudo-Verteilung none;q=1, die bewertet wurde. Jede bereits an der Nachricht vorhandene Kopie dieses Feldes wird zuvor entfernt. Das Feld liegt im X-Pepsi-*-Namensraum, den pepsi-stage-decrypt(1) pauschal von eingehender Mail abstreift, aber ein Pfad ohne diese Stage würde sonst eine gefälschte Kopie durchlassen; das Feld, das eine zugestellte Nachricht am Ende trägt, muss die Antwort dieses Servers sein und nicht die des Absenders.

  • BOUNCE_STAGE wird nicht herangezogen, und es wird keine DSN erzeugt.

Mit diesem Modus sollten Sie beginnen. Die Flags, die sich in echten Postfächern ansammeln, sind eine getreue Vorschau darauf, was die Durchsetzung ablehnen würde. So lassen sich WHITELIST, BLACKLIST und THRESHOLD an echtem Verkehr abstimmen, bevor die Mail eines Korrespondenten weggeworfen wird. Da ENFORCEMENT eine gewöhnliche Stage-Option ist, lässt sie sich je Adresse überschreiben (pepsi-settings(1)); so kann ein Konto im Training bleiben, während der Rest der Installation durchsetzt.

Warnung

Das Subject: umzuschreiben bricht die DKIM-Signatur des Absenders und das eigene ARC-AMS dieses Servers: Beide übersignieren Subject. Das ist derselbe Kompromiss, den pepsi-stage-vacation(1) für sein VACATION_TAG eingeht. Auf einem Zweig, der in lokaler Zustellung endet, kostet er nichts, auf einem Zweig, der die Nachricht weiterleitet, dagegen schon. Setzen Sie ENFORCEMENT = soft auf ersteren. hard schreibt überhaupt keinen Header um.

95.1.31.1.6. Konfiguration

Die Optionen liegen im eigenen [stage-<name>]-Abschnitt der Stage (PROGRAM = pepsi-stage-block-language): NEXT_STAGE, BOUNCE_STAGE, die Sprachlisten WHITELIST/BLACKLIST, der THRESHOLD und das obige Paar ENFORCEMENT/SUBJECT_FLAG_LABEL. Sie sind in pepsi.conf(5) dokumentiert.

95.1.31.1.7. State

Eingaben: state.language (die Accept-Language-artige Zeichenkette, die von pepsi-stage-detect-language(1) geschrieben wird; bei Abwesenheit als none;q=1 behandelt) und, für eine gebouncte Nachricht, state.dsn und der Umschlagempfänger.

Ausgaben: Auf dem Durchlasspfad schaltet die Stage weiter und lässt state unberührt. Unter ENFORCEMENT = hard leitet eine blockierte Nachricht zu BOUNCE_STAGE um und führt die Failure-DSN-Schlüssel zusammen, die pepsi-stage-bounce(1) verbraucht (state.bounce). Unter soft schreibt die Stage überhaupt kein state: Die Markierung steckt in der Nachricht, nicht in den Metadaten des Datensatzes. Das State-Layout wird in pepsi.state(7) beschrieben.

Übergänge (die Bewertung wird aus WHITELIST/BLACKLIST berechnet, wobei die Pseudo-Sprache none nicht erkannte Mail bewertet):

  • state.spam = false → weiterschalten zu NEXT_STAGE, ohne Bewertung;

  • Bewertung über THRESHOLD → weiterschalten zu NEXT_STAGE;

  • Bewertung auf oder unter THRESHOLD, Nachricht ist ein Bounce (Null-Absender) → weiterschalten zu NEXT_STAGE, unmarkiert, in beiden Modi;

  • Bewertung auf oder unter THRESHOLD, ENFORCEMENT = hard, mehr als ein Umschlagempfänger → der Datensatz wird in einen Datensatz je Empfänger aufgeteilt, jeder bei ebendieser Stage pending belassen und jeder im eigenen nächsten Durchgang erneut beurteilt;

  • Bewertung auf oder unter THRESHOLD, ENFORCEMENT = hard, Inhalt aus einem Chiffrat ohne Integritätsschutz → wie unter soft;

  • Bewertung auf oder unter THRESHOLD, ENFORCEMENT = hard → umleiten zu BOUNCE_STAGE mit state.bounce (einer Failure-DSN);

  • Bewertung auf oder unter THRESHOLD, ENFORCEMENT = soft → die Header Subject:/X-Pepsi-Detected-Languages umschreiben und zu NEXT_STAGE weiterschalten.

Die Stage pausiert nie. Sie lässt eine Nachricht nur fehlschlagen, wenn eine adressbezogene Einstellung ENFORCEMENT = hard für eine Stage ohne BOUNCE_STAGE einschaltet und die Richtlinie die Nachricht blockiert.

95.1.31.1.8. Befehle

worker

Läuft als persistenter pepsi-dispatch(1)-Worker, der Nachrichten-IDs von der Standardeingabe liest.

95.1.31.1.9. Globale Optionen

-c FILE, –config FILE

Liest die Konfiguration aus FILE, statt die Standardorte zu durchsuchen.

-L LOGLEVEL, –log LOGLEVEL

Setzt die Log-Ausführlichkeit (Standardwert [pepsi] LOG, sonst info).

-v, –verbose

Zeigt Log-Meldungen aus allen Quellen.

-h, –help; -V, –version

Gibt eine Verwendungsübersicht / die Version aus und beendet sich.

95.1.31.1.10. Exit-Status

Das Ergebnis jeder Nachricht wird pepsi-dispatch(1) auf der Statuszeile des Workers gemeldet, nicht als Exit-Status. Eine Nachricht, die nicht running ist, schlägt fehl, ebenso eine Nachricht, bei der eine adressbezogene Einstellung den Abschnitt der Stage kaputt macht (ein ungültiger Sprachcode, WHITELIST und BLACKLIST beide leer, eine Überschneidung der beiden oder eine Blockierung ohne BOUNCE_STAGE). Ein Fehler des Hosts (die Datenbank, eine Vorlage oder ein Helfer, die sich nicht verwenden lassen) ist kein Fehlschlag: Die Nachricht wird pausiert und erneut versucht, wie unter Stage-Fehler in pepsi-dispatch(1) beschrieben.

0

Der Worker lief, bis seine Standardeingabe geschlossen wurde.

1

Ein fataler Fehler ist aufgetreten (unlesbare Konfiguration, die Datenbank konnte nicht geöffnet werden, oder Standardein-/-ausgabe schlug fehl). Der Grund wird in das Journal geschrieben.

78

Der Worker hat den Start verweigert: Ein [stage-*]-Abschnitt, den er bedient, lässt sich nicht parsen (z. B. WHITELIST und BLACKLIST beide leer). Der Dispatcher reiht erneut ein, was er übergeben hatte, und versucht die Stage später wieder.

95.1.31.1.11. Beispiele

Nachricht 42 bewerten und routen (sie muss running sein):

echo 42 | pepsi-stage-block-language -c /etc/pepsi/pepsi.conf worker

Ein Pipeline-Abschnitt, der englische Mail annimmt, französisch wirkende Mail ablehnt und nicht erkannte Mail durchlässt (0 überschreitet die -0.1-Schwelle):

[stage-block-language]
PROGRAM = pepsi-stage-block-language
NEXT_STAGE = srs
BOUNCE_STAGE = bounce
WHITELIST = en
BLACKLIST = fr
THRESHOLD = -0.1

Dieselbe Richtlinie im Trainingsmodus: Nichts wird abgelehnt, und die Mail, die abgelehnt worden wäre, kommt mit markiertem Betreff und einem Header an, der sagt warum:

[stage-block-language]
PROGRAM = pepsi-stage-block-language
NEXT_STAGE = local
BOUNCE_STAGE = bounce
WHITELIST = en
BLACKLIST = fr
THRESHOLD = -0.1
ENFORCEMENT = soft

Eine französisch aussehende Nachricht erreicht den Empfänger dann als:

X-Pepsi-Detected-Languages: fr;q=0.87, en;q=0.09
Subject: Bonjour [!LANG]

Einen Benutzer im Training halten, während für alle anderen durchgesetzt wird (pepsi-settings(1)):

pepsi-settings set alice@example.org block-language ENFORCEMENT soft

95.1.31.1.12. Siehe auch

pepsi-config(1), pepsi-stage-detect-language(1), pepsi-stage-bounce(1), pepsi-dispatch(1), pepsi-settings(1), pepsi.conf(5), pepsi.state(7), pepsi-setup(1)

95.1.31.1.13. Fehler

Melden Sie Fehler an den Pepsi-Issue-Tracker.