27. Der Nachrichten-State¶
Jede in Bearbeitung befindliche Nachricht ist ein Datensatz der Tabelle pepsi.workqueue. Neben dem Umschlag und dem Nachrichtentext trägt jeder Datensatz ein frei strukturiertes JSON-Objekt, das mit der Nachricht vom Ingress bis zu ihrer terminalen Stage reist: die Spalte state (PostgreSQL-JSONB). Die vollständige Schlüsselreferenz ist die Handbuchseite pepsi.state(7); dieses Kapitel ist der erzählende Begleiter.
27.1. Der State ist der einzige Kanal¶
Stages reden nicht direkt miteinander. Die Pipeline ist ein Einzeltabellen-Zustandsautomat (siehe Architektur): Eine Stage lädt einen Datensatz, erledigt ihre Arbeit und schreibt genau ein terminales Ergebnis. Das state-Objekt ist der einzige Ort, an dem eine Stage Informationen für eine spätere Stage hinterlassen kann. Ingress hält fest, was es über die Verbindung und die Absicht des Absenders erfahren hat; die ARC-Stage hält das Urteil der von ihr neu bewerteten Kette fest; eine Relay-Stage hält fest, warum eine Zustellung fehlschlug, damit die Bounce-Stage es erklären kann. Nichts davon liegt in der Nachricht selbst — es liegt in state.
Weil state einfaches JSON ohne festes Schema ist, ist die Menge der Schlüssel offen. Eine eigene Stage (siehe Die Pipeline erweitern) darf ihre eigenen Schlüssel erfinden; der einzige Vertrag ist die Zusammenführungsregel unten.
27.2. Zusammenführungssemantik¶
state wird inkrementell aufgebaut statt überschrieben. Jeder terminale Stage-Helper, der einen Datensatz verändert, führt seine neuen Schlüssel in das bestehende Objekt zusammen, sodass ein früh geschriebener Schlüssel erhalten bleibt, sofern nicht eine Stage genau diesen Schlüssel absichtlich ersetzt. Die Zusammenführung ist flach und schlüsselweise, mit exakt der Semantik von PostgreSQLs state || $new. Der Worker faltet sie für das Commit eines einzelnen Datensatzes ein, und die Fan-out-Funktionen (workqueue_split, workqueue_pause, workqueue_finish_with_clones) werten sie in SQL aus. Deshalb kann eine Relay-Stage am fernen Ende einer langen Pipeline die origin-Herkunftsdaten, die Ingress gesät hat, noch lesen, und deshalb erreichen die RFC-3461-dsn-Parameter die Bounce-Stage unversehrt.
Es gibt genau eine Ausnahme. Wenn pepsi-stage-bounce eine Nachricht in eine Zustellungsstatusbenachrichtigung umschreibt, ersetzt es state durch ein einzelnes retry_since, die eigene Wiederholungsuhr der DSN, und bei einer REQUIRETLS-Nachricht zusätzlich durch deren Markierung tls_required. Der Grund: Der Bounce ist eine brandneue Null-Absender-Nachricht, die keine der Herkunftsdaten des Originals erbt.
27.3. Was Ingress sät¶
Wenn pepsi-ingress eine Nachricht annimmt, sät es drei Familien von Schlüsseln, dazu bedingte (dsn und spam unten; tls_required für REQUIRETLS oder TLS-Required: No; sowie mime_anomalies, mime_normalise und mime_normalised für mehrdeutiges MIME, siehe pepsi.state(7)):
originDie SMTP-Ursprungsherkunft der zustellenden Verbindung — Client-IP, HELO/EHLO, die ESMTP/SMTPUTF8/
BODY=-Deklarationen, TLS-Parameter, der Listener, Reverse-DNS/iprev und dieauthserv_iddieses Empfängers. Die ARC-Stage benötigt dieauthserv_id, um ihreAuthentication-Results-Identität zu reproduzieren, und die Relay-Stages ziehen die Deklarationen heran, wenn sie entscheiden, ob sie 8-Bit-/UTF-8-Inhalte für einen bestimmten nächsten Hop herabstufen. Außerdem hält sie fest, wie sich eine Einlieferung authentifiziert hat (auth_methodund Verwandte), sowiefrom_bound: ob dasFrom:genau ein Postfach ist, das durch einen konkreten, wildcard-freienUSERNAME_MAP-Eintrag (oder dessen Standardlogin@HOSTNAME) an das Konto gebunden ist. Die Encrypt-Stage lässt eine Einlieferung nur dann einen Schlüssel registrieren oder einen E-Mail-Schlüsselbefehl ausführen, wenn sie von einem vertrauenswürdigen Relay kam oderfrom_boundwahr ist.authDie eingehenden SPF-/DKIM-/DMARC-Urteile (auch im vorangestellten
Authentication-Results-Header wiedergegeben). Das Mitgliedarcbeginnt alsnoneund wird von der ARC-Stage überschrieben. Bei Mail aus einer nicht authentifizierten Sitzung, derenFrom:-Anzeigename eine andere Adresse als die eigene nennt, enthältauth.display_name_mismatchdiese beanspruchte Adresse, und Ingress stelltX-Pepsi-Warning: display-name-claims-other-addressvoran (siehe Was ein Sicherheitsindikator bedeutet).auth.warningslistet jedenX-Pepsi-Warning-Wert auf, den Ingress geschrieben hat: diesen,from-has-bidi-or-invisible-characters(Bidi-Steuerzeichen oder unsichtbare Zeichen inFrom:),from-domain-resembles-served-domain(eineFrom:-Domain, die wie eine bediente aussieht),attachment-name-has-bidi-or-invisible-characters(solche Zeichen im Dateinamen eines Anhangs),duplicate-header-<field>(voneinander abweichende Kopien vonDate,Subject,To,Cc,Reply-TooderSender, die angenommen wurden) und die vier, die zusätzlich die Betreffmarke[external]einbringen:from-ambiguous(einFrom:, das sich auf mehr als eine Weise lesen lässt oder mehrere Domains nennt),served-domain-not-authenticated,served-sender-not-authenticated(einSender:bei einer bedienten Domain, den niemand authentifiziert hat) unddmarc-fail-not-enforced.local_originEin Boolean:
true, wenn die zustellende Sitzung authentifiziert war (inMYNETWORKS, über SASLAUTH, mit einem passenden TLS-Client-Zertifikat oder als Peer auf einem UNIX-Socket mitAUTH_PEERCRED, dem dortigen Standardwert, dessen uid auf ein erlaubtes Login auflöste; so kommt jede lokal eingelieferte Nachricht an). Er unterscheidet ausgehende Mail von einem vertrauenswürdigen Absender von eingehender Mail aus dem Internet, und die Einstellungsschicht pro Adresse sowie der Edit-Settings-Steuerkanal stützen sich darauf.dsnDie RFC-3461-Parameter, die der Absender angefordert hat:
ret/envidauf Nachrichtenebene und ein Array vonnotify/orcptpro Empfänger, parallel zur Empfängerliste, das auch die RFC-7293-rrvs-Anforderung jedes Empfängers trägt. Jede Stage muss es bewahren und beachten. Der Schlüssel ist nur vorhanden, wenn der Absender überhaupt etwas angefordert hat.spamWird als
falsegesät, und nur in einem Fall: bei einer Nachricht, die ausschließlich an das reservierte Postfach<Postmaster>gerichtet ist, das laut RFC 5321 §4.5.1 zustellbar bleiben muss. Die Sprach-, die Confirm-to-Send- und die Pay-to-Send-Schranke leiten jede bereits als Nicht-Spam markierte Nachricht weiter, und genau das hält dieses Postfach erreichbar. Die Beschränkung auf den Fall des alleinigen Empfängers ist Absicht: andernfalls könnte ein Spammer Mitempfänger auf die Whitelist setzen, indem er neben einem echten Opfer einRCPTan<Postmaster>hinzufügt.
27.4. Was die Stages schreiben¶
Während die Nachricht weiterschaltet, mischen die Stages ihre eigenen Schlüssel hinein:
die ARC-Stage überschreibt
auth.arcmit dem Urteil der von ihr neu bewerteten Kette;jede Stage, die eine Nachricht zu ihrem
BOUNCE_STAGEroutet (die Zustell- und Discard-Stages sowie Richtlinien-Stages wie die Milter-, Secretary- und Krypto-Stages), schreibt einbounce-Objekt, das pepsi-stage-bounce in die DSN verwandelt: seinkind(permanent/success/delay), das menschenlesbarediagnosticundfailed_recipient, die kopiertennotify/orcpt/envidund strukturierte Detailangaben zum nächsten Hop (remote_mta/smtp_code/enhanced_status/phase/reply_text);die Relay-Stages halten Notizdaten für Wiederholungen (
attempts,last_error,delay_sent);das Stage-Gerüst selbst pausiert, wenn der Fehler einer Stage nicht als dauerhaft markiert war, den Datensatz mit
last_error,temporary_failuresundtemporary_stage(die den Back-off steuern). Wenn es aufgibt, hält esfailed_stageundfailure_classfest (permanent,retries-exhausted,crashedodertimed-out), woraus die Bounce-Stage eine DSN mit einem allgemeinen Text baut (last_errorwird nie in eine DSN kopiert). Der Dispatcher zählt die Worker-Abstürze und -Hänger einer Nachricht instrikes;eine Krypto-Stage, die eine Nachricht für eine Schlüsselsuche parkt, hält unter
keydiscfest, worauf sie wartet. Der Dienstpepsi-keydisc, der die Anfrage erledigt, gleicht diesen Schlüssel ab, um die Nachricht freizugeben;eine im Portal Das Secure-Link-Ausweichportal eingegebene Antwort wird mit einem
secure_link-Objekt und bewusst ohnelocal_origineingespeist; genau das verhindert, dass das Portal zu einem offenen Relay wird;pepsi-stage-srs hält den Umschlag-Absender, den es ersetzt hat, unter
srs.originalfest, damit eine DSN, die diese Installation erzeugt, an den echten Absender geht statt an dessen eigenen SRS-Alias. Wenn pepsi-ingress aus einem entfernten Bericht über eine weitergeleitete Kopie einen Datensatz erzeugt, markiert es diesen mitforward_return(Weiterleitungsadressen in Zustellberichten);pepsi-stage-list und die nachfolgenden Listen-Stages tragen den Mailinglisten-Deskriptor unter
list;pepsi-stage-detect-language hält die erkannte
languagefest, die pepsi-stage-block-language(1) dann bewertet;pepsi-stage-check-whitelist und pepsi-stage-anti-spam arbeiten über die Kurzschluss-Flags
spam/paidund diepay_deadlinezusammen;pepsi-stage-secretary hält unter
secretarydie Challenge fest, auf die eine zurückgehaltene Nachricht wartet (das Cookie, seinedeadline, diewhitelist), markiert sie alsconfirmedoderabandonedund setzt bei der Freigabespam = false; der Timeout-Pfad entfernt den Schlüssel wieder;pepsi-stage-dot-forward hält die Kette der weiterleitenden Logins einer weitergeleiteten Zeile in
dot-forwardersfest, um~/.forward-Weiterleitungsschleifen zu durchbrechen;pepsi-stage-milter hält unter
milterfest, welche Stage den Filter ausgeführt hat, welchesverdicter zurückgab und, falls etwas schiefging, denerror;pepsi-stage-vacation hält unter
vacationfest, dass es eine Nachricht stellvertretend für den Empfänger beantwortet hat, und in welcher Sprache. Niemand liest diesen Schlüssel; er existiert, damit sich eine überraschende Abwesenheitsantwort aus dem Datensatz heraus erklären lässt;pepsi-stage-encrypt hält unter
crypto.outfest, was es pro Empfänger signiert und verschlüsselt hat (mitfingerprintsundskipped, wenn an die mehreren MUA-Schlüssel eines lokalen Empfängers alle bzw. nicht alle verschlüsselt wurde), und setztencrypted, wenn die Nachricht für einen Empfänger tatsächlich verschlüsselt wurde; pepsi-stage-auto-whitelist kopiert dieses Flag in seinesignature_required-Spalte.crypto.out.key_attachedbesagt, dass der Schlüssel des Absenders als Datei mitgeschickt wurde, undcrypto.out.client_protectedbesagt, dass der eigene Mail-Client des Benutzers die Nachricht bereits verschlüsselt hatte, sodass die Stage sie unverändert ließ;pepsi-stage-decrypt hält unter
crypto.indas Spiegelbild fest: ob die Nachricht verschlüsselt ankam, was aus dem Chiffrat wurde (decryption = for-client, mitfor_clientundclient_fingerprint, wenn es an den eigenen MUA-Schlüssel des Empfängers verschlüsselt war und ungeöffnet weitergereicht wurde;withheld, wenn ein unsignierter Klartext aus einem formbaren S/MIME-Container für den Benutzer nicht geöffnet wurde;unauthenticatedundsanitised, wenn ein solcher Klartext als Text zugestellt wurde), welche unserer Identitäten sie geöffnet hat, das Signatururteil (mitcovers_plaintext),usually_signed, wenn eine Nachricht ohnevalid-Signatur von einer Adresse kommt, deren Mail kürzlich eine trug, und die geordnete Schichtenliste. Es setztsignature_verifiedfür das Urteilvalidund nur für dieses, und pepsi-stage-check-whitelist knüpft einensignature_required-Datensatz an dieses Flag. Zwei dieser Mitglieder existieren, weil nichts weiter unten sie wiederherstellen könnte: Der Klartext wird über die ankommenden Bytes hinweg festgeschrieben, daher sindcrypto.in.encryptedundcrypto.in.outer_gossip(ob der ankommende Header-Block bereits einAutocrypt-Gossip:-Feld trug) nur hier beantwortbar. pepsi-stage-bounce liestcrypto.in, bevor es den Zustand leert, und zitiert von einer verschlüsselt angekommenen Nachricht nur die Adressierungsfelder, damit kein entschlüsselter Inhalt an den Umschlag-Absender zurückgeht (Bounces nach der Entschlüsselung am Gateway legen entschlüsselte Inhalte offen). pepsi-stage-autocrypt-learn liest beide. Ihre Namen liegen inpepsi_common::crypto_state, damit keine der beiden Krypto-Stages das Vokabular besitzt;pepsi-stage-reencrypt hält unter
crypto.storefest, was es mit einer Nachricht getan hat, die Decrypt geöffnet hat:outcomereencrypted(mitprotocol, den MUA-Schlüssel-fingerprints, an die es versiegelt hat, von denenfingerprintder erste ist, etwaigen mit Begründung übersprungenen Schlüsseln unterskipped,containerunddowngraded),plaintextoderbounced(mit einemreason). Es führt das ganzecrypto-Objekt zusammen und trägt dabeicrypto.inmit, und das Vorhandensein des Schlüssels verhindert, dass es einen Datensatz je zweimal versiegelt;der Dispatcher schreibt
dispatch_error, wenn er einen Datensatz auffailed/timeoutzwingt, weil eine Stage abgestürzt ist oder zu lange lief.
Beide Krypto-Stages leben unter demselben crypto-Schlüssel mit denselben Feldnamen, und beide sind ein flacher Merge, sodass ein Datensatz crypto.out oder crypto.in trägt (dazu crypto.store, das die Neuverschlüsselungs-Stage daneben schreibt) und nicht beides — was richtig ist, denn eine Nachricht ist auf dem ausgehenden oder auf dem eingehenden Pfad. Die vollständige Liste, mit den genauen JSON-Formen und der erzeugenden/verbrauchenden Stage für jeden Schlüssel, steht in pepsi.state(7).