95.1.31. pepsi-stage-block-language¶
route a message by its detected body language(s)
- Handbuchabschnitt:
1
95.1.31.1.1. Name¶
pepsi-stage-block-language - die Sprachrichtlinien-Stage der Pepsi-Pipeline.
95.1.31.1.2. Übersicht¶
pepsi-stage-block-language [GLOBAL-OPTIONS] worker
95.1.31.1.3. Beschreibung¶
Diese Stage hat den Standardwert FUSION = yes: Wenn Stage-Fusion aktiviert ist ([pepsi] ALLOW_FUSION, der Standardwert) und diese Stage in das vereinheitlichte pepsi-Binärprogramm eingefaltet ist, kann ein Vorgänger sie in seinem eigenen Worker-Prozess ausführen, statt sie separat zu dispatchen. Siehe pepsi-dispatch(1) und pepsi.conf(5).
pepsi-stage-block-language ist ein Stage-Programm, das pepsi-dispatch(1) als persistenten Worker ausführt; der Worker liest Nachrichten-IDs von der Standardeingabe. Für jede ID lädt es den pepsi.workqueue-Datensatz (und weigert sich zu handeln, sofern sein status nicht running ist) und liest seinen [stage-<stage>]-Abschnitt. Dann bewertet es die menschliche(n) Sprache(n), die pepsi-stage-detect-language(1) unter state.language festgehalten hat, gegen eine konfigurierte weiße und schwarze Liste und routet die Nachricht entsprechend: Oberhalb der Bewertungsschwelle schaltet sie zu NEXT_STAGE weiter, andernfalls wird sie blockiert. Die Option ENFORCEMENT bestimmt, was Blockieren bedeutet: ein Bounce oder ein Flag auf einer Nachricht, die trotzdem zugestellt wird (siehe Durchsetzung unten). Der Rest von state (state.dsn, der Ingress-origin, …) bleibt erhalten; die Stage fügt ihm nur das state.bounce einer harten Blockierung hinzu (siehe State unten).
95.1.31.1.4. Bewertung¶
state.language ist eine Zeichenkette im HTTP-Accept-Language-Stil aus code;q=quality-Elementen, wobei jede quality die Erkennungswahrscheinlichkeit dieser Sprache ist. Die Stage wandelt sie in eine einzelne Zahl um:
score = Σ q over languages listed in WHITELIST
− Σ q over languages listed in BLACKLIST
Sprachen auf keiner der Listen tragen nichts bei. Steht zum Beispiel Englisch auf der weißen und Französisch auf der schwarzen Liste, so bewertet sich eine als en;q=0.7, fr;q=0.3 festgehaltene Nachricht zu 0.7 − 0.3 = 0.4.
Ein Listeneintrag ist ein Sprachbereich, der nach dem einfachen Filtern von RFC 4647 §3.3.1 gegen ein erkanntes Tag abgeglichen wird: Der Bereich passt, wenn er dem Tag gleicht oder einem Präfix davon, auf das - folgt. Ein schlichtes de passt also auf ein erkanntes de-CH, und ein engeres de-CH, das die Listen ebenfalls annehmen, passt nur auf ein erkanntes de-CH, nicht auf ein blankes de.
Wenn keine Sprache erkannt wurde (state.language fehlt), wird die Bewertung gegen die Pseudo-Verteilung none;q=1 berechnet. Der literale Pseudo-Code none kann selbst in WHITELIST oder BLACKLIST erscheinen, sodass ein Betreiber über das Schicksal nicht erkannter Mail entscheidet: none auf die schwarze Liste zu setzen bewertet sie mit −1, auf die weiße Liste mit +1, und sie nirgends aufzuführen belässt sie bei 0.
Manche Nachrichten tragen ein explizites state.spam = false-Urteil, gesetzt von einem vorgelagerten Treffer auf einer weißen Liste (pepsi-stage-check-whitelist(1)) oder von Ingress für Mail, die ausschließlich an das reservierte <Postmaster>-Postfach gerichtet ist (RFC 5321 §4.5.1). Eine solche Nachricht umgeht die Sprachrichtlinie vollständig und schaltet unabhängig von ihrer erkannten Sprache zu NEXT_STAGE weiter.
Andernfalls schaltet eine Nachricht, deren Bewertung strikt größer als THRESHOLD ist, zu NEXT_STAGE weiter; eine auf oder unter diesem Wert wird blockiert. Eine Nachricht, die bereits ein Bounce ist (der leere Umschlagabsender), ist in beiden Durchsetzungsmodi ausgenommen: Sie schaltet unabhängig von ihrer Bewertung zu NEXT_STAGE weiter, denn ein Bounce darf nie gebounct werden, und ein Flag würde dann einen Bounce behaupten, der ohnehin nie stattgefunden hätte.
Bemerkung
Da der Vergleich strikt ist und nicht gelistete Sprachen 0 beitragen, benötigt eine Richtlinie nach dem Muster „alle erlauben außer einer schwarzen Liste“ einen negativen THRESHOLD. Mit dem Standardwert THRESHOLD = 0.0 und nur gesetzter BLACKLIST erhält jede Nachricht in neutraler Sprache den Wert 0. Dieser ist nicht größer als 0, also wird die Nachricht blockiert. pepsi-setup(1) warnt vor genau dieser Fehlkonfiguration (eine BLACKLIST mit leerer WHITELIST und einem nicht-negativen THRESHOLD).
Diese Stage pausiert eine Nachricht nie, und der Nachrichtentext wird nie geladen.
95.1.31.1.5. Durchsetzung¶
ENFORCEMENT entscheidet, was mit einer blockierten Nachricht geschieht. Beide Modi wirken auf genau dieselbe Menge von Nachrichten: Für alles, wofür hard einen Bounce erzeugt, setzt soft ein Flag.
hard(der Standardwert)Die Nachricht wird mit einem permanenten Failure-DSN-
statezu BOUNCE_STAGE geroutet, sodass pepsi-stage-bounce(1) nur dann einen Bounce ausgibt, wenn dasNOTIFYdes AbsendersFAILUREanfordert (der Standardwert bei Abwesenheit). So oder so wird die Nachricht nicht zugestellt. An der Nachricht selbst wird nichts umgeschrieben. pepsi-setup(1) weist einehard-Stage ohne BOUNCE_STAGE zurück, und ihr Worker verweigert bei einem solchen Abschnitt den Start, da er sonst jede Nachricht fehlschlagen ließe, die die Richtlinie abweist.Eine Nachricht mit mehreren Umschlagempfängern wird zuerst aufgeteilt, sodass jeder Empfänger auf seinem eigenen Datensatz blockiert wird und daher seine eigene empfängerbezogene Gruppe in der DSN erhält (RFC 3464 §2.3.1) und nach seinem eigenen
NOTIFYbeurteilt wird. Ohne die Aufteilung würde der Bericht eine Adresse nennen und den Absender im Glauben lassen, die übrigen seien zugestellt worden.Eine Nachricht, deren Inhalt aus einem Chiffrat ohne Integritätsschutz stammt oder sich daraus nicht öffnen ließ (ein S/MIME-
EnvelopedData, AES-CBC; von pepsi-stage-decrypt(1) instate.crypto.infestgehalten), wird nicht gebounct: Sie wird markiert und wie untersoftweitergeschaltet. Ob sich ein verändertes CBC-Chiffrat öffnen lässt, entscheidet, welche Sprache erkannt wird, sodass ein Bounce für das eine Ergebnis und keiner für das andere ihrem Absender verraten würde, ob das Padding gültig war.softDie Nachricht wird trotzdem zugestellt, markiert, und schaltet zu NEXT_STAGE weiter:
SUBJECT_FLAG_LABEL (Standardwert
[!LANG]) wird an seinSubject:angehängt, im Header-Block und in dersubject-Spalte des Datensatzes, sodass die Markierung sowohl für den Empfänger als auch für pepsi-queue(1) sichtbar ist. Sie wird nur angehängt, wenn der Betreff sie nicht bereits enthält, unabhängig von der Groß-/Kleinschreibung, sodass eine Antwort, die sie durch diese Stage zurückzitiert, keine zweite ansammelt. Eine Nachricht, die ohneSubject:-Feld ankam, bekommt keines, weil die Stage keinen Header erfindet; ihre Spalte wird aber dennoch markiert.Ein
X-Pepsi-Detected-Languages-Header wird hinzugefügt, der die Erkennung in derselbencode;q=value-Form trägt wie ein HTTP-Accept-Language-Header. Er wird aus der Verteilung neu gerendert, die tatsächlich bewertet wurde, wobei jede Qualität auf zwei Nachkommastellen gerundet wird; so können Feld und Entscheidung nicht auseinandergehen. Bei nicht erkannter Mail trägt er die Pseudo-Verteilungnone;q=1, die bewertet wurde. Jede bereits an der Nachricht vorhandene Kopie dieses Feldes wird zuvor entfernt. Das Feld liegt imX-Pepsi-*-Namensraum, den pepsi-stage-decrypt(1) pauschal von eingehender Mail abstreift, aber ein Pfad ohne diese Stage würde sonst eine gefälschte Kopie durchlassen; das Feld, das eine zugestellte Nachricht am Ende trägt, muss die Antwort dieses Servers sein und nicht die des Absenders.BOUNCE_STAGE wird nicht herangezogen, und es wird keine DSN erzeugt.
Mit diesem Modus sollten Sie beginnen. Die Flags, die sich in echten Postfächern ansammeln, sind eine getreue Vorschau darauf, was die Durchsetzung ablehnen würde. So lassen sich WHITELIST, BLACKLIST und THRESHOLD an echtem Verkehr abstimmen, bevor die Mail eines Korrespondenten weggeworfen wird. Da
ENFORCEMENTeine gewöhnliche Stage-Option ist, lässt sie sich je Adresse überschreiben (pepsi-settings(1)); so kann ein Konto im Training bleiben, während der Rest der Installation durchsetzt.
Warnung
Das Subject: umzuschreiben bricht die DKIM-Signatur des Absenders und das eigene ARC-AMS dieses Servers: Beide übersignieren Subject. Das ist derselbe Kompromiss, den pepsi-stage-vacation(1) für sein VACATION_TAG eingeht. Auf einem Zweig, der in lokaler Zustellung endet, kostet er nichts, auf einem Zweig, der die Nachricht weiterleitet, dagegen schon. Setzen Sie ENFORCEMENT = soft auf ersteren. hard schreibt überhaupt keinen Header um.
95.1.31.1.6. Konfiguration¶
Die Optionen liegen im eigenen [stage-<name>]-Abschnitt der Stage (PROGRAM = pepsi-stage-block-language): NEXT_STAGE, BOUNCE_STAGE, die Sprachlisten WHITELIST/BLACKLIST, der THRESHOLD und das obige Paar ENFORCEMENT/SUBJECT_FLAG_LABEL. Sie sind in pepsi.conf(5) dokumentiert.
95.1.31.1.7. State¶
Eingaben: state.language (die Accept-Language-artige Zeichenkette, die von pepsi-stage-detect-language(1) geschrieben wird; bei Abwesenheit als none;q=1 behandelt) und, für eine gebouncte Nachricht, state.dsn und der Umschlagempfänger.
Ausgaben: Auf dem Durchlasspfad schaltet die Stage weiter und lässt state unberührt. Unter ENFORCEMENT = hard leitet eine blockierte Nachricht zu BOUNCE_STAGE um und führt die Failure-DSN-Schlüssel zusammen, die pepsi-stage-bounce(1) verbraucht (state.bounce). Unter soft schreibt die Stage überhaupt kein state: Die Markierung steckt in der Nachricht, nicht in den Metadaten des Datensatzes. Das State-Layout wird in pepsi.state(7) beschrieben.
Übergänge (die Bewertung wird aus WHITELIST/BLACKLIST berechnet, wobei die Pseudo-Sprache none nicht erkannte Mail bewertet):
state.spam = false→ weiterschalten zu NEXT_STAGE, ohne Bewertung;Bewertung über THRESHOLD → weiterschalten zu NEXT_STAGE;
Bewertung auf oder unter THRESHOLD, Nachricht ist ein Bounce (Null-Absender) → weiterschalten zu NEXT_STAGE, unmarkiert, in beiden Modi;
Bewertung auf oder unter THRESHOLD,
ENFORCEMENT = hard, mehr als ein Umschlagempfänger → der Datensatz wird in einen Datensatz je Empfänger aufgeteilt, jeder bei ebendieser Stagependingbelassen und jeder im eigenen nächsten Durchgang erneut beurteilt;Bewertung auf oder unter THRESHOLD,
ENFORCEMENT = hard, Inhalt aus einem Chiffrat ohne Integritätsschutz → wie untersoft;Bewertung auf oder unter THRESHOLD,
ENFORCEMENT = hard→ umleiten zu BOUNCE_STAGE mitstate.bounce(einer Failure-DSN);Bewertung auf oder unter THRESHOLD,
ENFORCEMENT = soft→ die HeaderSubject:/X-Pepsi-Detected-Languagesumschreiben und zu NEXT_STAGE weiterschalten.
Die Stage pausiert nie. Sie lässt eine Nachricht nur fehlschlagen, wenn eine adressbezogene Einstellung ENFORCEMENT = hard für eine Stage ohne BOUNCE_STAGE einschaltet und die Richtlinie die Nachricht blockiert.
95.1.31.1.8. Befehle¶
- worker
Läuft als persistenter pepsi-dispatch(1)-Worker, der Nachrichten-IDs von der Standardeingabe liest.
95.1.31.1.9. Globale Optionen¶
- -c FILE, –config FILE
Liest die Konfiguration aus FILE, statt die Standardorte zu durchsuchen.
- -L LOGLEVEL, –log LOGLEVEL
Setzt die Log-Ausführlichkeit (Standardwert
[pepsi] LOG, sonstinfo).- -v, –verbose
Zeigt Log-Meldungen aus allen Quellen.
- -h, –help; -V, –version
Gibt eine Verwendungsübersicht / die Version aus und beendet sich.
95.1.31.1.10. Exit-Status¶
Das Ergebnis jeder Nachricht wird pepsi-dispatch(1) auf der Statuszeile des Workers gemeldet, nicht als Exit-Status. Eine Nachricht, die nicht running ist, schlägt fehl, ebenso eine Nachricht, bei der eine adressbezogene Einstellung den Abschnitt der Stage kaputt macht (ein ungültiger Sprachcode, WHITELIST und BLACKLIST beide leer, eine Überschneidung der beiden oder eine Blockierung ohne BOUNCE_STAGE). Ein Fehler des Hosts (die Datenbank, eine Vorlage oder ein Helfer, die sich nicht verwenden lassen) ist kein Fehlschlag: Die Nachricht wird pausiert und erneut versucht, wie unter Stage-Fehler in pepsi-dispatch(1) beschrieben.
- 0
Der Worker lief, bis seine Standardeingabe geschlossen wurde.
- 1
Ein fataler Fehler ist aufgetreten (unlesbare Konfiguration, die Datenbank konnte nicht geöffnet werden, oder Standardein-/-ausgabe schlug fehl). Der Grund wird in das Journal geschrieben.
- 78
Der Worker hat den Start verweigert: Ein
[stage-*]-Abschnitt, den er bedient, lässt sich nicht parsen (z. B. WHITELIST und BLACKLIST beide leer). Der Dispatcher reiht erneut ein, was er übergeben hatte, und versucht die Stage später wieder.
95.1.31.1.11. Beispiele¶
Nachricht 42 bewerten und routen (sie muss running sein):
echo 42 | pepsi-stage-block-language -c /etc/pepsi/pepsi.conf worker
Ein Pipeline-Abschnitt, der englische Mail annimmt, französisch wirkende Mail ablehnt und nicht erkannte Mail durchlässt (0 überschreitet die -0.1-Schwelle):
[stage-block-language]
PROGRAM = pepsi-stage-block-language
NEXT_STAGE = srs
BOUNCE_STAGE = bounce
WHITELIST = en
BLACKLIST = fr
THRESHOLD = -0.1
Dieselbe Richtlinie im Trainingsmodus: Nichts wird abgelehnt, und die Mail, die abgelehnt worden wäre, kommt mit markiertem Betreff und einem Header an, der sagt warum:
[stage-block-language]
PROGRAM = pepsi-stage-block-language
NEXT_STAGE = local
BOUNCE_STAGE = bounce
WHITELIST = en
BLACKLIST = fr
THRESHOLD = -0.1
ENFORCEMENT = soft
Eine französisch aussehende Nachricht erreicht den Empfänger dann als:
X-Pepsi-Detected-Languages: fr;q=0.87, en;q=0.09
Subject: Bonjour [!LANG]
Einen Benutzer im Training halten, während für alle anderen durchgesetzt wird (pepsi-settings(1)):
pepsi-settings set alice@example.org block-language ENFORCEMENT soft
95.1.31.1.12. Siehe auch¶
pepsi-config(1), pepsi-stage-detect-language(1), pepsi-stage-bounce(1), pepsi-dispatch(1), pepsi-settings(1), pepsi.conf(5), pepsi.state(7), pepsi-setup(1)
95.1.31.1.13. Fehler¶
Melden Sie Fehler an den Pepsi-Issue-Tracker.