11. Unterstützte Funktionen¶
Dieses Kapitel führt die Funktionen auf Protokoll- und Richtlinienebene auf, die Pepsi unterstützt, jeweils mit dem maßgeblichen RFC: die SMTP- und Authentifizierungsmaschinerie, die Ende-zu-Ende-Kryptographie und die Betriebsoberfläche um beides. Der RFC-Index verweist jeden RFC auf Code und Konfiguration; die programmweisen Kapitel führen auf, welches Programm jede Funktion umsetzt.
11.1. Eingehender SMTP-Empfang¶
pepsi-ingress ist ein standardkonformer SMTP-Server (RFC 5321) mit diesen Erweiterungen:
Transportsicherheit. Klartext, STARTTLS-Upgrade (RFC 3207) und implizites TLS (RFC 8314, z. B. der Submission-Port 465) — je Listener über
MODEausgewählt. Submission-Listener (RFC 6409,SUBMISSION = yes) können gebunden werden — siehe Nachrichteneinlieferung.Übertragung des Nachrichtentexts. Klassisches
DATAund CHUNKING/BDAT (RFC 3030) für große Nachrichten.BINARYMIMEwird nicht angekündigt, und einMAIL FROMmitBODY=BINARYMIMEwird mit501 5.5.4abgelehnt.SIZE-Ankündigung und -Durchsetzung (
MAX_MESSAGE_SIZE; Überschreitung → 552).PIPELINING und ENHANCEDSTATUSCODES.
8BITMIME (RFC 6152) und SMTPUTF8 (RFC 6531) — siehe Internationalisierte und 8-Bit-Inhalte.
DSN (RFC 3461) — siehe Zustellungsstatusbenachrichtigungen.
RRVS (RFC 7293) — siehe Wiederverwendete Adressen.
REQUIRETLS (RFC 8689), auf TLS-geschützten Sitzungen — siehe TLS verlangen.
SMTP AUTH (RFC 4954) für die Submission — siehe Client-Authentifizierung.
Annahmerichtlinie: Mail wird nur für
ACCEPTED_DOMAINSangenommen (andere werden als Relaying mit550abgelehnt); das domainlose Postfach<Postmaster>wird immer angenommen (RFC 5321 §4.5.1); Empfänger, die gültige SRS-Tokens sind, werden rückwärtsdekodiert und weitergeleitet (siehe Sender Rewriting Scheme (SRS)).Dauerhaftigkeit: Dem Client wird
250erst mitgeteilt, nachdem der Datensatz festgeschrieben ist; ist die Datenbank nicht verfügbar, erhält der Client ein vorübergehendes451und wiederholt.
11.2. Trace-Header¶
Ingress stellt jeder Nachricht vor der Authentifizierung einen Received:-Header gemäß RFC 5321 §4.4 voran (sodass die ARC-Versiegelung ihn abdeckt). Die with-Klausel hält den Übertragungstyp gemäß RFC 3848 fest: SMTP, ESMTP, ESMTPS, ESMTPA oder ESMTPSA. Das bloße ESMTPA, authentifiziert, aber nicht über TLS, ist der lokale UNIX-Submission-Socket. Eine for-Klausel benennt bei Einzelempfänger-Transaktionen den Empfänger.
11.3. Client-Authentifizierung¶
Jeder Listener kann den sich verbindenden Client authentifizieren und dessen Mail als lokal erzeugt markieren (was ihr erlaubt, an jede Domain weiterzuleiten, und ESMTPSA in die Received:-Spur stempelt). Eine Sitzung ist authentifiziert, wenn einer von vier listenerspezifischen Mechanismen gelingt:
die Peer-IP liegt in den
MYNETWORKSdes Listeners (von vornherein vertrauenswürdig; die Adressen, als die ein solches Netz senden darf, werden mitSENDER_MAPgebunden, und ein Eintrag außerhalb von Loopback, den die Zuordnung nicht abdeckt, wird beim Start abgewiesen);ein SMTP-AUTH-Austausch gelingt (RFC 4954,
PLAIN/LOGIN), verifiziert gegen ein konfiguriertes SASL-Backend (SASL_TYPE/SASL_PATH; heute der Auth-Client-Socket von Dovecot).AUTHwird nur über TLS angeboten und akzeptiert: Ein Klartextversuch wird mit504 5.5.4abgelehnt, dem Code, den RFC 4954 §4 für ein Verfahren vorschreibt, das „eine Verschlüsselungsschicht erfordert“ (§1 erklärt das ältere538für veraltet);ein vorgelegtes TLS-Client-Zertifikat ist ein gepinnter Schlüssel (
TLS_AUTH_CLIENT) oder lässt sich, einschließlich Einschränkungen und Widerruf, gegen eine konfigurierte CA (TLS_AUTH_CLIENT_CA) validieren, undSENDER_MAPbindet es an seine Adressen (ein ungebundenes Zertifikat authentifiziert nichts);die Gegenstelle eines UNIX-Sockets wird über
SO_PEERCREDidentifiziert (AUTH_PEERCRED, der lokale Submission-Socket) und ihr Login ist auf mindestens eine Adresse abgebildet. Dieser Mechanismus trägt einen Benutzernamen, speist also dieselbeUSERNAME_MAP-Durchsetzung, die auch eine SASL-Sitzung erfährt.
Dies ist verschieden von der Grenz-Authentifizierung unten, die die Nachricht verifiziert (SPF/DKIM/DMARC), unabhängig davon, wie sich der Client selbst authentifiziert hat oder ob er es überhaupt getan hat. Siehe pepsi-ingress.
11.4. Nachrichteneinlieferung¶
Ein mit SUBMISSION = yes markierter Listener verhält sich als Message Submission Agent (RFC 6409) statt als MX:
Authentifizierung ist verpflichtend — ein nicht authentifiziertes
MAIL FROMwird mit530 5.7.0abgelehnt (das Flag erfordert also einen der obigen Client-Auth-Mechanismen sowie TLS auf jedem Listener, der kein lokaler UNIX-Domain-Socket ist); undSubmission-Korrekturen werden auf jede angenommene Nachricht angewendet: ein fehlendes
Date:(§8.2) undMessage-ID:(§8.3) werden ergänzt, bevor die Nachricht gespeichert wird; undDurchsetzung der Submission-Identität (§6) über
USERNAME_MAP: Das Umschlag-MAIL FROMund derFrom:-Header müssen Adressen sein, die der authentifizierte Benutzer verwenden darf (andernfalls550), und ein erlaubtesFrom:, das von der kanonischen Identität des Benutzers abweicht, erhält einenSender:-Header, der sie benennt (§8.1). JedesFrom:-Postfach wird mit einem Parser gelesen, der Quoted Strings und RFC-5322-Kommentare überspringt, sodass ein Kommentar die tatsächlich verwendete Adresse nicht verbergen kann (Mehrdeutige From-Header werden als eine Adresse geprüft und als eine andere angezeigt). Eine Nachricht ohneFrom:, mit mehr als einem, mit nur einer Gruppe oder mit einem Postfach ohne vollständige Adresse wird abgewiesen (550 5.6.0), ebenso einFrom:, dessen Anzeigename eine andere Adresse als die eigene nennt, denn viele Clients zeigen nur den Namen.
Auf einem MX-Listener hat das Kennzeichen keine Wirkung. Ein lokaler Shell-Benutzer und Die Identität des Einliefernden legen dar, wovor diese Bindung schützt und wovor nicht.
11.5. Grenz-Authentifizierung¶
Bevor Ingress eine Nachricht speichert, authentifiziert es sie, damit der schließliche Empfänger weiterhin das Urteil sehen kann, das Pepsi an der Grenze gefällt hat (die Weiterleitung wird die ursprünglichen SPF/DKIM-Signale zerstören):
SPF (RFC 7208) auf der
MAIL FROM-Identität unter Verwendung der Client-IP.DKIM-Signaturverifikation (RFC 6376 / RFC 8463).
DMARC-Auswertung (RFC 7489), mit Durchsetzung zur SMTP-Zeit (
DMARC_ENFORCE→550bei einem eindeutigen Fehlschlag unter einerquarantine/reject-Richtlinie; der Assistent schreibt die Option für eine neue Installation) und einer ARC-Ausnahme für die inARC_TRUSTED_SEALERSgenannten Weiterleiter und Listen (eine gültige Kette, die zuletzt von einem von ihnen versiegelt wurde, wird angenommen und alsstate.auth.arc_overridefestgehalten). Ansonsten ist die Authentifizierung fail-open: Ein DNS- oder Parse-Fehler wird festgehalten und die Mail angenommen.iprev / FCrDNS (RFC 8601): ob der PTR-Eintrag des Clients vorwärts auf seine IP bestätigt.
Ein Authentication-Results-Header (RFC 8601), der all das Obige festhält, gestempelt mit dem Ingress-Hostnamen als
authserv-id.
Die andere Hälfte von DMARC sind die Berichte, die andere Empfänger über Mail unter unseren Domains senden. pepsi-stage-dmarc-report liest die Aggregatberichte (RFC 7489 §7.2), die an dmarc-reports@<domain> geschickt werden; das ist die rua=-Adresse des Records, den pepsi-setup vorschlägt. Anhand der authentifizierten Berichte sagen pepsi-setup check, pepsi-status und die Konsole, ob jede sendende Quelle ausgerichtet war, sodass p=reject gefahrlos ist, oder welche Quellen es abweist.
Unter DMARC_ENFORCE wird DMARC pro Autor-Domain ausgewertet (höchstens MAX_DMARC_AUTHOR_DOMAINS, 10), sodass ein zweites From:-Postfach keine Fälschung am ersten vorbeischmuggeln kann. Mail von außen wird an dieser Grenze außerdem bereinigt: Eine Nachricht mit mehr als einem From:-Feld wird abgewiesen, und ein Bcc:-Feld wird entfernt (eine Antwort an alle würde sonst entschlüsselten Text an eine Adresse zitieren, die der Angreifer dort eingetragen hat). Auch eingelieferte Mail verliert ihr Bcc:-Feld, sodass ein Client, der eines stehen lässt, die verborgenen Empfänger nicht verraten kann. Ein From:, dessen Anzeigename eine andere Adresse nennt, wird mit X-Pepsi-Warning: display-name-claims-other-address markiert, und eines mit Bidi-Steuerzeichen oder unsichtbaren Zeichen wird mit X-Pepsi-Warning: from-has-bidi-or-invisible-characters markiert; jedes X-Pepsi-Warning, das der Absender geschrieben hat, wird zuvor entfernt. Ein From:, das sich auf mehr als eine Weise lesen lässt oder Postfächer in mehreren Domains nennt (from-ambiguous), und ein Sender: in einer bedienten Domain, den niemand authentifiziert hat (served-sender-not-authenticated), werden markiert und wie ein gefälschtes bedientes From: mit [external] gekennzeichnet. Eine From:-Domain, die einer bedienten ähnelt (from-domain-resembles-served-domain), und ein Anhang, dessen Dateiname Bidi- oder unsichtbare Zeichen verbirgt (attachment-name-has-bidi-or-invisible-characters), werden nur im Header markiert. Der Angreifer, dem dies begegnet, ist Ein entfernter Absender.
11.6. Authenticated Received Chain (ARC)¶
Die Stage pepsi-stage-arc implementiert ARC (RFC 8617). Sie verifiziert jede eingehende ARC-Kette und versiegelt die Nachricht als unsere ADMD, indem sie ein Set aus ARC-Authentication-Results / ARC-Message-Signature / ARC-Seal voranstellt, signiert mit dem einzigen ARC_ALGORITHM (ARC erlaubt eine Signatur pro Hop). Dies erlaubt einem nachgelagerten Empfänger, dem Grenzurteil zu vertrauen, nachdem die Weiterleitung das SPF/DKIM-Alignment zerstört hat. Die Versiegelung ist fail-open. Weil ARC die Authentifizierung eines vorgelagerten Absenders über den Weiterleitungs-Hop hinweg bewahrt, gilt es nur für Mail, die Pepsi empfängt. Lokal erzeugte Einlieferungen (state.local_origin) werden übersprungen, denn die DKIM-Signierungs-Stage authentifiziert sie als Autor-Domain. Die generierte Pipeline platziert ARC daher im eingehenden Zweig, nach der state.local_origin-Aufteilung.
11.7. Sender Rewriting Scheme (SRS)¶
Die Stage pepsi-stage-srs schreibt den Umschlagabsender in eine lokale Adresse einer von Pepsi kontrollierten SRS_DOMAIN um, die den ursprünglichen Absender per HMAC kodiert (der gekürzte MAC ist base32-kodiert, RFC 4648), sodass SPF beim nächsten Hop besteht. Der Null-Absender und eine bereits in der SRS-Domain liegende Adresse bleiben unverändert; eine bereits-SRS-Adresse wird in der kompakten SRS1-Form neu signiert. Ingress führt die Gegenrichtung aus: Ein an eine gültige SRS-Adresse zurückgesendeter Bounce wird verifiziert und an den ursprünglichen Absender weitergeleitet, während ein gefälschtes oder abgelaufenes Token abgelehnt wird (550).
Eine Kopie, die ein Alias oder eine ~/.forward außer Haus schickt, erhält stattdessen eine Weiterleitungs-Rücksendeadresse (fwd+<sealed>=<tag> in der SRS-Domain), die den ursprünglichen Absender und die vom Absender verwendete Adresse versiegelt. Ein entfernter Bericht über eine solche Kopie wird beantwortet, nicht weitergereicht: Ingress nimmt ihn nur vom Null-Absender an, protokolliert ihn für den Betreiber und verwirft ihn, und die Bounce-Stage sendet dem ursprünglichen Absender Pepsis eigene DSN über die Adresse, die er verwendet hat. So bleiben das Weiterleitungsziel, die Antwort des Hosts dahinter und, bei verschlüsselt eingetroffener Mail, der Klartext beim Benutzer (Weiterleitungsadressen in Zustellberichten).
11.8. Ende-zu-Ende-Verschlüsselung und -Signierung¶
pepsi-stage-encrypt verschlüsselt eine lokal eingelieferte Nachricht an jeden Empfänger, in OpenPGP (PGP/MIME, RFC 3156) oder S/MIME (CMS, RFC 8551 / 5083), signiert mit dem eigenen Schlüssel des From:-Autors. Die Signatur liegt innerhalb des Chiffrats.
ENABLE_PEP (standardmäßig an) ist eine Voreinstellung von Standardwerten nach dem Vorbild des Projekts pretty Easy privacy: Jeder lokale Absender an einer bedienten Domain erhält automatisch einen OpenPGP-Schlüssel, eine Nachricht wird nur signiert, wenn sie verschlüsselt wird (SIGN = encrypted-only), und Klartext-Mail trägt den Schlüssel des Absenders in einem Autocrypt:-Header, aber keine Signatur. Jede ausdrücklich ausgeschriebene Option hat weiterhin Vorrang; ENABLE_PEP = no macht das Signieren opportunistisch und schaltet die automatische Schlüsselerzeugung ab.
Jeder verschlüsselte Empfänger bekommt sein eigenes Chiffrat auf seinem eigenen Warteschlangendatensatz: Kein Chiffrat nennt die anderen Empfänger, und kein Inhaltsschlüssel wird zwischen Empfängern geteilt. Weder ein Chiffrat noch ein Autocrypt-Gossip-Header kann einen Bcc-Empfänger verraten, denn Gossip nennt nur die Adressen in To: und Cc:. Nur die Empfänger ohne Schlüssel teilen sich einen Datensatz, weil sie alle dieselbe Behandlung ohne Schlüssel bekommen.
Empfängerschlüssel stammen aus dem Speicher von Schlüsselverwaltung, gefüllt von der Entdeckungsschicht (WKD, VKS, DANE, LDAP, Ernte aus eingehender Mail). Die Stage selbst betreibt keine Netzwerk-E/A: Ein Empfänger, dessen Schlüssel nicht zwischengespeichert ist, pausiert die Nachricht, bis ein Entdeckungsdienst die Anfrage erledigt, und einer mit einem frischen negativen Cache-Eintrag nimmt sofort den Schlüssellos-Pfad.
Was mit einem Empfänger ohne Schlüssel geschieht, ist eine Frage der Richtlinie: ON_NO_KEY ist cleartext, secure-link oder bounce und bezieht seinen Standardwert aus ENCRYPT, statt einen eigenen zu haben. ENCRYPT = required fällt nie auf Klartext zurück, und kein Klartextergebnis ist je stillschweigend: Jedes wird protokolliert und je Empfänger in state.crypto.out festgehalten, samt dem tatsächlich verwendeten Inhaltscontainer und der Angabe, ob es eine Herabstufung war. Eine Abfrage, die im DNS fehlschlug, zählt nicht als „kein Schlüssel“, wo das Ergebnis Klartext wäre. Die Nachricht wird dann zurückgestellt; wenn die Domain für ihre Mailserver antwortet, aber nicht für ihre Schlüssel-Records, wird sie stattdessen an das Portal geschickt oder gebounct. Beides unterbleibt, wenn der Absender Klartext mit [clear-ok] im Betreff oder über CLEAR_ON_DNS_FAILURE akzeptiert hat (Ein Schlüssel-Lookup, der im DNS scheitert). Welchen S/MIME-Container ein Korrespondenzpartner bekommt, wird pro Gegenstelle gelernt (Welchen S/MIME-Container ein Korrespondent erhält).
Die Stage läuft vor der DKIM-Signierung, sodass DKIM die tatsächlich übertragenen Bytes abdeckt; Konfiguration erklärt, warum diese Reihenfolge nicht optional ist.
11.9. Serverseitige Entschlüsselung und Verifikation¶
pepsi-stage-decrypt ist die eingehende Hälfte. Für eine Nachricht an einen Empfänger, den dieser Host bedient, öffnet es jedes Chiffrat, das die Nachricht trägt, verifiziert jede Signatur, die sie trägt, hält das Urteil fest und entfernt jeden Sicherheitsindikator, den der Absender gefälscht hat. Der Benutzer liest gewöhnliche Mail in seinem üblichen Client, ohne dass ein Plugin beteiligt ist. Die Ausnahme ist Mail, die an einen Schlüssel verschlüsselt ist, den der Benutzer aus seinem eigenen Mail-Client registriert hat (ein Schlüssel in Client-Verwahrung, dessen private Hälfte Pepsi nie besitzt): Sie wird ungeöffnet durchgereicht, damit der Client sie entschlüsselt.
Es läuft nur für Empfänger, die dieser Host bedient, und versucht es bei allem anderen gar nicht erst. Das Entschlüsseln schreibt den Nachrichtentext um, was die DKIM-Signatur des Absenders ungültig macht; das ist bei einer Nachricht, die gleich hier in ein Postfach abgelegt wird, harmlos und bei einer weitergeleiteten nicht. Eine Nachricht mit Empfängern beider Art wird aufgeteilt, sodass die weitergeleitete Kopie diejenige ist, die ankam.
Das Urteilsvokabular ist genau. valid bedeutet, dass die Signatur einwandfrei ist und dass der Schlüssel verankert war, über eine X.509-Kette zu einer konfigurierten CA oder als OpenPGP-Schlüssel aus einer eingestuften Entdeckungsquelle. valid-untrusted bedeutet einwandfrei mit einem Schlüssel, der sich an nichts binden ließ, was der Zustand des meisten signierten Mailverkehrs der Welt ist und nie als valid gemeldet wird. invalid, unverifiable und none vervollständigen die Menge, und trägt eine Nachricht mehrere Signaturen über denselben Inhalt, so gewinnt die schlechteste von ihnen. (Eine außerhalb des Chiffrats angebrachte Signatur ist eine eigene Klasse: Sie steht nur dann für die Nachricht ein, wenn nichts den Klartext signiert, und dann nie besser als valid-untrusted — siehe pepsi-stage-decrypt.) Nur valid setzt state.signature_verified, woran pepsi-stage-check-whitelist einen Datensatz der weißen Liste knüpft. Eine Signatur, deren geschütztes From: vom äußeren abweicht, wird herabgestuft, statt dem äußeren Autor gutgeschrieben zu werden (Geschützte Header gegenüber den äußeren), und was ein Urteil dem Leser verspricht, steht in Was ein Sicherheitsindikator bedeutet. Das Urteil erreicht den Leser als Betreffmarkierungen und in Outlook und Thunderbird über eine Erweiterung, die das Feld X-Pepsi-Crypto außerhalb des Nachrichtenbereichs anzeigt (Erweiterungen für Mail-Clients).
Beide Fehlerpfade stellen standardmäßig zu, im Einklang mit Pepsis fail-open-Haltung bei eingehendem SPF, DKIM und DMARC: Eine Nachricht, die wir nicht öffnen konnten, wird weiterhin verschlüsselt zugestellt (der Benutzer hält den Schlüssel womöglich in seinem eigenen Client), und eine schlechte Signatur ist ein festgehaltenes Urteil und kein Zustellfehler (Mailinglisten, die Nachrichtentexte umschreiben, erzeugen sie an völlig legitimer Mail). Quarantäne- und Bounce-Wege gibt es für Installationen, die sie wünschen. Der Preis dieser Voreinstellung ist, dass eine schlechte oder nicht überprüfbare Signatur im Betreff nicht in Erscheinung tritt (Antworten, Entwürfe und mailto machen Clients zu Entschlüsselungs- und Signaturorakeln).
Das Ergebnis erreicht den Benutzer auf zwei Wegen: über einen X-Pepsi-Crypto-Header mit dokumentierter Grammatik und, standardmäßig, über ein [decrypted][verified], das dem Subject in Schachtelungsreihenfolge vorangestellt wird. Für die meisten Benutzer ist das das einzige Signal, das sie je sehen werden. Beides beruht auf derselben Disziplin: Jedes X-Pepsi-*-Feld und jede unserer eigenen Betreffmarkierungen wird aus eingehender Mail entfernt, bevor unsere hinzugefügt wird. Ein privater Header ist definitionsgemäß fälschbar, und diese Entfernung ist die gesamte Grundlage dafür, dass man ihm glauben darf (Sicherheitsstatus In-Band im Nachrichten-Body oder in Headern gefälscht, Gefälschte Sicherheitsmarkierungen im Betreff umgehen die Bereinigung im Gateway). Unsere Markierungen stehen ganz vorn, sodass ein Client, der einen langen Betreff abschneidet, sie trotzdem anzeigt (Gefälschte Sicherheitsmarkierungen im Betreff umgehen die Bereinigung im Gateway).
Das Schlüsselmaterial, das eine Nachricht mitführt (S/MIME-Signiererzertifikate, application/pgp-keys-Teile, Autocrypt-Header), wird im Speicher gelesen, um die Signatur eben dieser Nachricht zu prüfen, denn die meiste signierte Mail führt das Zertifikat mit, das sie signiert hat. Tut sie es nicht, pausiert die Nachricht an einer Entdeckungsanfrage, statt an einem Keyserver zu blockieren, sodass selbst die erste Nachricht eines neuen Korrespondenten ein echtes Urteil erhält.
Die Entschlüsselungs-Stage speichert nichts davon. Alles Lernen von Peer-Schlüsseln ist eine eigene Stage, pepsi-stage-autocrypt-learn, platziert nach dem Spam-Urteil. Erst diese Platzierung macht die Regel aus Autocrypt Level 1 §5.3, „Nachrichten ignorieren, die die MUA für Spam hält“, überhaupt umsetzbar (LEARN_FROM_SPAM, standardmäßig aus). Eine eingehende Pipeline ohne diese Stage verifiziert Signaturen einwandfrei und lernt nie den Schlüssel eines Korrespondenten.
Was die Decrypt-Stage öffnet, wird als Klartext abgelegt, es sei denn, der Empfänger hat seinen eigenen Mail-Client-Schlüssel registriert. Dann versiegelt pepsi-stage-reencrypt, unmittelbar vor der lokalen Zustellung platziert, die Nachricht mit diesem Schlüssel, sobald jede lesende Stage fertig ist. Eine Richtlinie pro Empfänger (ON_NO_CLIENT_KEY) kann Mail für einen Benutzer ohne einen solchen Schlüssel abweisen, statt sie lesbar abzulegen. So versiegelte Mail ist nur mit diesem Client-Schlüssel lesbar; geht er verloren, ist auch die abgelegte Mail verloren (Schlüsselverwaltung zu schwer: Ende-zu-Ende-Mail-Clients fehleranfällig oder ungenutzt).
Vor beidem entfernt pepsi-stage-defang aus dem HTML eines Benutzers, der es eingeschaltet hat, alles, was das HTML von sich aus aus dem Netz laden würde. Dazu gehören das Tracking-Pixel, das ein Öffnen meldet, und ein <img src="..., in dem ein entschlüsselter Teil seinen Klartext transportieren könnte. Links, cid:-Teile, Inline-Bilder und alles, was eine Signatur abdeckt, bleiben unverändert.
11.10. Schlüsselverwaltung, -entdeckung und -veröffentlichung¶
Keine der beiden Krypto-Stages betreibt eigene Netzwerk-E/A. Beide schöpfen aus einem Schlüsselspeicher im gemeinsamen Schema, der aus zwei Richtungen gefüllt wird: von pepsi-keydisc, das je Entdeckungsmethode eine eigene Dienstinstanz betreibt, damit ein langsamer Keyserver niemanden aufhält, und von pepsi-stage-autocrypt-learn aus der eintreffenden Mail. Eine Stage, die einen Schlüssel braucht, den sie nicht hat, committet, was sie behalten darf, pausiert die Nachricht und reiht eine Anfrage ein; der antwortende Dienst gibt im selben Round-Trip jede an dieser Adresse geparkte Nachricht frei.
Entdeckungsquellen, jede eine eigene, nebenläufig ausgeführte Abfrage mit eigenem Rang auf einer Vertrauensleiter: das Web Key Directory (erweiterte und direkte Form), DANE
OPENPGPKEY(RFC 7929) undSMIMEA(RFC 8162) (nur angenommen, wenn das AD-Bit des Resolvers sagt, dass die Antwort DNSSEC-validiert ist), das VKS-Protokoll eines verifizierenden Keyservers und LDAP. Unter ihnen allen sitzen auf der Leiter die beiden Sprossen, die keine Entdeckungsdienste sind und keine Instanz haben. Die höhere ist aus eingehender Mail geerntetes Material (S/MIME-Signiererzertifikate,application/pgp-keys-Teile undAutocrypt-Header). Noch eine Sprosse tiefer, ganz unten, steht der Schlüssel eines Dritten, denAutocrypt-Gossip:in einer verschlüsselt eingetroffenen Nachricht eingeführt hat. Beide werden von pepsi-stage-autocrypt-learn unmittelbar geschrieben; eine der beiden inSOURCESzu benennen wird abgelehnt.Veröffentlichung der Schlüssel unserer eigenen Benutzer: die WKD-Endpunkte, die pepsi-httpd bedient, die
OPENPGPKEY/SMIMEA-Einträge, die pepsi-keys und pepsi-setup ausgeben, und das Hochladen auf einen verifizierenden Schlüsselserver, je Identität und nur auf Anforderung; pepsi-stage-vks-confirm beantwortet die Bestätigungsmail dieses Servers.Verwahrung. Privates Material wird verpackt unter einem Schlüsselverschlüsselungsschlüssel gespeichert, der außerhalb der Datenbank liegt, und ist nur von der einen Datenbankrolle erreichbar, unter der die Krypto-Stages laufen (Nicht authentifizierte Verschlüsselung privater Schlüssel lässt den Speicherinhaber Schlüssel verstümmeln); diese Stages halten daher jeden servergehaltenen Schlüssel, während sie feindliche Eingaben parsen (Mail-Appliances speichern Geheimnisse für alle lesbar oder ungeschützt).
Ein negativer Cache bedeutet, dass nur die erste Nachricht an oder von einem unbekannten Korrespondenten je wartet.
Schlüsselverwaltung ist das Kapitel über all dies; die Optionsreferenz ist pepsi.conf(5).
11.11. Der Secure-Link-Ausweg¶
Die meisten Korrespondenten veröffentlichen keinen Schlüssel, sodass ENCRYPT = required sonst nur „bounce es“ oder „sende es im Klartext“ ließe. Das Secure-Link-Portal ist die dritte Antwort: pepsi-stage-secure-link legt die Nachricht auf dem Server ab, verschlüsselt unter einer frisch erzeugten PIN, und mailt dem Empfänger einen Link, während die PIN ihn über einen anderen Kanal erreicht (standardmäßig wird sie dem Absender gemailt, der sie weitergibt). Der Empfänger liest die Nachricht in einem Browser, kann ihre Anhänge herunterladen und, wo der Betreiber es freigibt, antworten.
Der Inhaltsschlüssel ist Argon2id über die PIN, ein Salz je Nachricht und einen Pfeffer, der nur in secrets.d liegt, und gespeichert wird nur das AEAD-Chiffrat, ohne einen PIN-Verifizierer daneben (Offline-Raten schwacher Passwort-Hashes, Schlüssel-Passphrasen und abgeleiteter Schlüssel, Offline-Raten schwacher Passwort-Hashes, Schlüssel-Passphrasen und abgeleiteter Schlüssel). Eine gestohlene Datenbank oder eine Kopie der Serverplatte gibt also ohne die PIN keine gespeicherte Nachricht her. Der Server hat den Klartext bei der Einlieferung der Nachricht sehr wohl verarbeitet, sodass ein Betreiber, dem im Bedrohungsmodell vertraut wird, ihn damals hätte behalten können. Der Betreff reist mit dem Nachrichtentext im Chiffrat; Absender, Empfänger, Zeitstempel und Lebenszykluszähler liegen im Klartext, weil Zustellung, Ablauf und die Frage „ist das angekommen?“ sie brauchen. Eine verlorene PIN ist eine verlorene Nachricht, und der Wiederherstellungsweg ist, dass der Absender erneut sendet.
Nachrichten werden als Text, nie als HTML gerendert, sodass es keinen Bereiniger zu umgehen und keine entfernten Inhalte gibt, die nach Hause telefonieren (Handgeschriebene oder einmal durchlaufende HTML-Sanitizer lassen aktive Inhalte überleben, Handgeschriebene oder einmal durchlaufende HTML-Sanitizer lassen aktive Inhalte überleben). Falsche PINs werden durch eine Sperre je Token und eine Ratenbegrenzung je Quelle begrenzt, und ein gesperrtes Token wird abgewiesen, bevor überhaupt eine PIN ausgewertet wird (Ratenbegrenzungen für Anmeldung und Wiederherstellung durch Wettläufe und Logikfehler ausgehebelt; parallele Rateversuche können die Grenze trotzdem leicht überschreiten, Ratenbegrenzungen für Anmeldung und Wiederherstellung durch Wettläufe und Logikfehler ausgehebelt). Eine Antwort wird ohne state.local_origin injiziert und ausschließlich an den gespeicherten Absender adressiert, sodass das öffentliche Formular kein offenes Relay werden kann. Siehe Das Secure-Link-Ausweichportal für den Ablauf, das Bedrohungsmodell und die Konfiguration.
11.12. Ausgehende DKIM-Signierung¶
Die Stage pepsi-stage-dkim-sign stellt DKIM-Signaturen (RFC 6376) unter der SIGNING_DOMAIN oder der From:-Domain der Nachricht voran. Standardmäßig fügt sie sowohl eine RSA-Signatur (standardmäßig 2048 Bit) als auch eine Ed25519-Signatur (RFC 8463) hinzu; [pepsi] DKIM_ALGORITHMS wählt eine von beiden allein. Die privaten Schlüssel hält der Signierdaemon pepsi-dkim unter seinem eigenen Konto; er signiert für die Stage und kann die Schlüssel nach Zeitplan rotieren (DKIM-Schlüssel rotieren); keine Stage kann einen Schlüssel lesen. Trotzdem sind Pepsis Signaturen nur so stark wie das Konto, unter dem die Pipeline läuft: Jede Stage kann den Daemon um eine Signatur bitten oder eine Nachricht umschreiben, nachdem Ingress ihr From: geprüft hat (Eine kompromittierte Komponente). Gmail, Microsoft 365 und Yahoo verifizieren Ed25519 nicht, und Google führt eine solche Signatur in seinen DMARC-Aggregatberichten als fail; DMARC besteht trotzdem über die RSA-Signatur. Die Signatur deckt immer den ganzen Body ab: Das l=-Body-Längen-Tag aus RFC 6376 wird nie ausgegeben, da strenge Verifizierer eine solche Signatur rundweg ablehnen, statt die kürzere Abdeckung hinzunehmen. Das Signieren ist fail-closed: Eine Nachricht von einer Domain, für die der Daemon nicht signiert, wird abgewiesen, statt unsigniert weitergeschickt zu werden, und solange der Daemon nicht erreichbar ist, wartet die Nachricht und wird erneut versucht. Da die Header-Auswahl von unten nach oben erfolgt, stört die Signatur bestehende Signaturen nicht.
11.13. Zustellungsstatusbenachrichtigungen¶
Pepsi implementiert DSN durchgängig (RFC 3461 / RFC 3463 / RFC 3464):
Ingress kündigt
DSNan und validiert/speichertRET/ENVID(beiMAIL FROM) undNOTIFY/ORCPT(beiRCPT TO) unterstate.dsn.Die Relay-Stages propagieren diese Parameter an einen nächsten Hop, der ebenfalls
DSNankündigt, und lassen sie andernfalls weg (RFC 3461 §6: Pepsi wird nicht zum DSN-verantwortlichen Relay).pepsi-stage-bounce gibt den Bericht als RFC-3464-
multipart/reportmit erweiterten RFC-3463-Statuscodes aus:einen Failure-Bericht, wenn
NOTIFYFAILUREanfordert (der Standard bei Abwesenheit) —NOTIFY=NEVERverwirft stillschweigend;einen Success-Bericht (
Action: delivered) nur, wenn das globaleORIGINATE_SUCCESS_DSNgesetzt ist undNOTIFY=SUCCESSangefordert wurde;einen Delay-Bericht (
Action: delayed), wenn dasDELAY_DSN_AFTEReiner Relay-Stage bei einer noch eingereihten Nachricht abläuft, dieNOTIFY=DELAYangefordert hat (höchstens einmal gesendet).
Eine Nachricht mit Null-Absender (ein Bounce) wird selbst nie gebounct (RFC 5321 §6.1). Wird sie auf dem Rückweg abgelehnt, behalten beide Relay-Stages sie, bis eine Kopie POSTMASTER erreicht, falls diese Option gesetzt ist. Bei einer verschlüsselt eingetroffenen Nachricht gibt ein Bericht nie den Body oder den Betreff zurück, gleich was RET verlangt hat, sodass ein Bounce entschlüsselte Inhalte nicht an denjenigen zurückgeben kann, der das Chiffrat gesendet hat (Bounces nach der Entschlüsselung am Gateway legen entschlüsselte Inhalte offen).
11.14. Wiederverwendete Adressen¶
Ein Login, das ein Betreiber löscht und später an jemand anderen vergibt, würde Mail erhalten, die für seinen vorherigen Inhaber bestimmt ist, und dessen Zustand erben. Pepsi implementiert dagegen RFC 7293 (Require-Recipient-Valid-Since) und legt fest, was ein wiederverwendetes Login verliert (der Mechanismus steht in Ein Login, das den Eigentümer wechselt):
Die Aufzeichnung.
pepsi.login_assignmenthält pro passwd-Login die UID fest, die es hat, und wann diese Zuordnung zuerst gesehen wurde. Die lokale Zustellung erfasst jedes Login, an das sie zustellt (über LMTP jeden angenommenen Empfänger, den passwd kennt; die eigenen virtuellen Benutzer des MDA sind nicht abgedeckt);pepsi-setup runund das stündlichepepsi-queue gcprüfen jedes erfasste Login erneut gegen passwd. Ein Login, das unter einer anderen UID gesehen wird oder wieder auftaucht, nachdem eine Prüfung es als verschwunden befand, hat einen neuen Inhaber. Ein zum ersten Mal gesehenes Login ist keine Neuzuordnung, denn was geschah, bevor Pepsi hinsah, ist unbekannt.Was ein neuer Inhaber nicht erbt. Wird der Wechsel bemerkt, verwirft die Datenbank die
pepsi.settings-Überschreibungen des vorherigen Inhabers, seine eigenen<login>/...-Whitelists (und ausstehenden Confirm-to-Send-Challenges), seinen Postfach-Quota-Datensatz, die Protokolle der Abwesenheits- und Zahlungsaufforderungsantworten, ausstehende Bestätigungsanfragen von Mailinglisten sowie Anmeldelinks und Sitzungen der Konsole, hebt die Bestätigung der Mailinglisten-Adressen des Logins auf, löst sie vom Listenkonto des vorherigen Inhabers und stellt die Zustellung an ihre einfachen Mitgliedschaften ein und protokolliert einaccount.reassigned-Ereignis (das jede Listeneigentümer- oder Moderatorrolle nennt, die die Adressen noch innehaben). Schlüsselmaterial bleibt erhalten: Identitäten im Schlüsselspeicher, zwischengespeicherte Gegenstellenschlüssel und ein TOTP-zweiter-Faktor werden vonpepsi-setup runundcheckgemeldet, zusammen mit dem Befehl, der jeweils darüber verfügt, denn ein gelöschter privater Schlüssel lässt sich nicht wiederherstellen und ist womöglich der einzige Weg, die archivierte Mail des vorherigen Inhabers zu öffnen.Die SMTP-Erweiterung. Ingress kündigt
RRVSan und akzeptiertRRVS=<date-time>[;C|R]beiRCPT TO. Ein Empfänger, dessen Login nach diesem Datum einen erfassten Inhaberwechsel hat, wird mit550 5.7.17abgewiesen. Ein Login, das nach Pepsis Wissen einen einzigen Inhaber hat, besteht für jedes Datum, sodass die Antwort nichts über Adressen verrät, die nie wiederverwendet wurden; Rollenadressen (postmaster,abuse, …) sind ausgenommen, und Abweisungen zählen aufMAX_INVALID_RECIPIENTS.Das Header-Feld. Bei der lokalen Zustellung (
pepsi-stage-relay-to-maildir) und vor dem Ausführen einer~/.forward(pepsi-stage-dot-forward) wird der Parameter erneut mit einer frischen passwd-Abfrage geprüft (ohne Parameter wird einRequire-Recipient-Valid-Since:-Feld geprüft, das diesen Empfänger nennt), und ein durchfallender Empfänger wird mit5.7.17gebounct, statt zugestellt zu werden. Das Feld wird aus der zugestellten Kopie entfernt.Weiterleitung. Die Relay-Stages reichen den Parameter an einen nächsten Hop weiter, der
RRVSankündigt. Gegenüber einem, der das nicht tut, lässt die voreingestellte Aktion bei fehlender Unterstützung,R, den Empfänger mit5.7.19fehlschlagen;Cfährt fort und schreibt die Anforderung für diesen einen Empfänger als Header-Feld. Alias-Ziele und weitergeleitete Adressen erben nie eine Anforderung.
11.15. TLS verlangen¶
Die Transportrichtlinie zu veröffentlichen ist normalerweise Sache des Empfängers (MTA-STS, DANE), sie zu befolgen Sache des Absenders; RFC 8689 erlaubt es dem Urheber einer einzelnen Nachricht, validiertes TLS auf jedem Hop zu verlangen oder für sie auf die Richtlinie des Empfängers zu verzichten:
Die SMTP-Erweiterung. Ingress kündigt
REQUIRETLSerst an, sobald eine Sitzung TLS-geschützt ist, und akzeptiert denMAIL FROM-Parameter nur dort (530 5.7.10im Klartext): Die Ankündigung verspricht, die Anforderung weiterzutragen. Eine Nachricht, die damit eintrifft, wird mitstate.tls_required = "required"gekennzeichnet, und jede Aufteilung und jeder Klon erbt die Kennzeichnung. Eine Nachricht, die ohne ihn, aber mit einem einzigen Header-FeldTLS-Required: Noeintrifft, wird mit"no"gekennzeichnet.Weiterleiten einer Nachricht mit Anforderung. Die Relay-Stages senden sie nur an einen nächsten Hop, dessen Namen DNSSEC oder eine MTA-STS-Richtlinie validiert (direkte Zustellung) oder den die Konfiguration nennt (ein Smarthost), über verpflichtendes
STARTTLSmit einem durch DANE oder PKIX authentifizierten Zertifikat, und nur, wenn der Hop nach dem UpgradeREQUIRETLSankündigt; der Parameter wird weitergereicht. Jeder MX-Host wird versucht; erfüllt keiner die Bedingungen, wird die Nachricht mit5.7.30(dort keinREQUIRETLS) oder5.7.10(kein validiertes TLS) gebounct, gemäß RFC 8689 §4.2.1. DasTLS_VERIFY = noeines Smarthost-Eintrags wird übergangen, undMODE = plainweist die Nachricht ab.Weiterleiten einer Nachricht mit ``TLS-Required: No``. Die direkte Zustellung verwendet opportunistisches
STARTTLSzu jedem MX-Host, eineenforce-MTA-STS-Richtlinie und DANE nur beratend; ein fehlgeschlagener Handshake wird trotzdem nie im Klartext wiederholt. Smarthost-Einstellungen sind die eigene Richtlinie des Standorts und bleiben in Kraft.Bounces. Eine DSN für eine Nachricht mit Anforderung gibt nur die Header zurück (
RET=FULLwird übergangen), trägt die Kennzeichnung, wird über validiertes TLS mit dem Parameter zurückgeschickt, wo der Rückweg ihn ankündigt, und wird nicht wegen eines Hops verworfen, dem die Erweiterung fehlt (§5).
Der Mechanismus und seine Grenzen stehen in TLS für eine Nachricht verlangen (RFC 8689); was er für den Netzwerkangreifer ändert, steht in Ein aktiver Netzwerkangreifer.
11.16. Internationalisierte und 8-Bit-Inhalte¶
Ingress kündigt 8BITMIME (RFC 6152) und SMTPUTF8 (RFC 6531) an und hält die BODY=-Deklaration fest. Weil die Fähigkeiten eines nächsten Hops bis nach dem Verbindungsaufbau unbekannt sind, entscheidet der ausgehende SMTP-Client pro Hop:
Unterstützt der Hop die Erweiterung, kündigt Pepsi
BODY=8BITMIME/SMTPUTF8erneut an.Andernfalls stuft es herab: 8-Bit-MIME-Blattteile werden in eine 7-Bit-Transferkodierung umkodiert (RFC 2045: Quoted-Printable für
text/*, sonst Base64), nach dem Befund der Oktette statt nach der deklarierten Kodierung; UTF-8-Header-Felder werden als RFC-2047-Encoded-Words umgeschrieben, an den drei Stellen, an denen RFC 2047 §5 eines erlaubt (ein unstrukturiertes Feld, eine Display-Name-Phrase, das Innere eines Kommentars); ein Nicht-ASCII-Parameter vonContent-Type/Content-Disposition, etwa der Dateiname eines Anhangs in einem beliebigen MIME-Teil, erhält die RFC-2231-Form (filename*=UTF-8''caf%C3%A9.txt), und ein Nicht-ASCII-boundary=, für das es keine kodierte Form gibt, wird zusammen mit den Begrenzungszeilen durch ein neues ASCII-Boundary ersetzt.Die herabgestuften Bytes werden dann erneut geprüft: Die Umwandlung geschieht nach bestem Bemühen an einer Nachricht, die niemand validiert hat, und RFC 6152 §3 untersagt es „unter allen Umständen“, einem Hop 8-Bit-Inhalte anzubieten, der
8BITMIMEnicht angekündigt hat; ein Nachrichtentext, der danach immer noch 8-bittig ist, ist daher stattdessen ein dauerhafter Fehler (Bounce).Eine Nicht-ASCII-Adresse (im Umschlag oder innerhalb einer Header-Adresse), die einem Nicht-
SMTPUTF8-Hop gegenüber nicht darstellbar ist, ist ein dauerhafter Fehler (Bounce).
Die Neukodierung des Bodys bricht zwangsläufig eine bereits auf der Nachricht befindliche DKIM-/ARC-Signatur, die den Body abdeckt; das ist unvermeidlich (die Fähigkeiten werden spät gebunden) und selten. Pepsis eigene DKIM-Signatur wird über einen Body erstellt, den pepsi-stage-dkim-sign bereits in 7 Bit umgewandelt hat (RFC 6376, Abschnitt 5.3), sodass das Relay sie unversehrt lässt.
11.17. Ausgehendes Relay¶
Zwei austauschbare Relay-Stages versenden Mail nach außerhalb:
pepsi-stage-relay-to-internet — Direkt-zu-MX-Zustellung (RFC 5321 §5): eigene
MX-Abfrage mit Präferenz-Reihenfolge und Happy-Eyeballs-Adressauswahl (pro Adresse inpepsi.dns_addresszwischengespeichert), impliziter MX über Adress-Einträge (§5.1) und Null-MX-Behandlung (RFC 7505). TLS wird per MTA-STS (RFC 8461) mit Zertifikatsidentitätsprüfungen (RFC 6125) authentifiziert;enforce-Richtlinien verlangen STARTTLS zu einem gelisteten MX.pepsi-stage-relay-to-smarthost — Relay über einen konfigurierten Smarthost, nach Empfängerdomain (oder einem Catch-All) gewählt, mit Transport je MTA (
plain/tls/starttls), Zertifikatsverifikation und der vollständigen SMTP-AUTH-Suite (RFC 4954) (PLAIN/LOGIN,CRAM-MD5,SCRAM-SHA-1/-SHA-256mit optionalem-PLUS-Channel-Binding,OAUTHBEARER/XOAUTH2, SASLEXTERNALmit einem TLS-Client-Zertifikat,NTLM,GSSAPI/Kerberos und dem veraltetenDIGEST-MD5) oderauto-Aushandlung. Siehe Client-Authentifizierung und den RFC-Index.
Beide Stages wenden den Schleifenschutz an und zählen die Received:-Header der Nachricht gegen ihre eigene Option MAX_HOP_COUNT. Sie ist eine Einstellung der Relay-Stage im Abschnitt [stage-<name>] jeder Stage, keine von Ingress, sodass eine Nachricht gestoppt wird, wenn sie gerade weitergesendet werden soll, und nicht erst, wenn sie ankommt.
Beide Stages authentifizieren das TLS des nächsten Hops mit DANE (RFC 7672, DANE = off|warn|strict, standardmäßig strict, wie RFC 7672 §2.2 es verlangt). Sie schlagen die TLSA-Einträge des Hops nach und gleichen sie mit der vorgelegten Kette ab. DANE hat Vorrang vor MTA-STS, sodass ein verwendbarer TLSA-Eintrag TLS verpflichtend macht und eine Abweichung die Zustellung zurückstellt (Der Netzwerkangreifer). Wenn [pepsi-tlsrpt] SEND_REPORTS eingeschaltet ist (standardmäßig ist es aus), halten beide Stages außerdem jede ausgehende TLS-Sitzung für TLS-Reporting (RFC 8460) fest, und pepsi-tlsrpt verschickt die täglichen Sammelberichte.
Die beiden Stages teilen sich die Wiederholungssemantik: Ein vorübergehender Fehler pausiert die Nachricht mit exponentiellem Backoff (RETRY_INITIAL/ RETRY_MAX_INTERVAL/RETRY_FACTOR) bis MAX_LIFETIME, nach dem sie gebounct oder als fehlgeschlagen markiert wird; ein dauerhafter Fehler wird zu BOUNCE_STAGE geroutet (oder markiert den Datensatz als failed).
11.18. Lokale Zustellung¶
Für Empfänger in einer lokalen Domain legen drei Stages die Mail auf dem Host ab, statt sie weiterzuleiten (jede reicht die Empfänger, die sie nicht bearbeiten kann, an ihr NEXT_STAGE weiter, sodass sie sich kombinieren lassen):
pepsi-stage-relay-to-maildir — schreibt die Nachricht direkt in das
Maildir/new/jedes lokalen Benutzers. Die Lokalität wird durchLOCAL_DOMAINSundTARGETS(passwd-uid-Bereiche) entschieden; der privilegierte Schreibvorgang wird vom setuid-rootpepsi-helper-maildir-writererledigt, der über das eigenepepsi-maildir-Set-Group-ID-Bit der Stage erreicht wird.pepsi-stage-relay-to-lmtp — übergibt die Nachricht an einen lokalen Mail Delivery Agent (typischerweise Dovecot) über LMTP (RFC 2033), der beim Ablegen der Mail das Sieve-Filter (RFC 5228) jedes Empfängers ausführt. Sie stellt je Transaktion einem Empfänger zu und routet jeden, den der MDA ablehnt, anhand seines RFC-3463-Status weiter. Benötigt keinen privilegierten Helper (der MDA gibt Privilegien ab).
pepsi-stage-dot-forward — verarbeitet die
~/.forward-Datei jedes lokalen Benutzers (der klassische sendmail/Postfix-Mechanismus) über den setuid-rootpepsi-helper-dot-forward, der seine Privilegien vor dem Lesen auf den Benutzer absenkt: Weitergeleitete Adressen starten die Pipeline neu,|pipe//file-Direktiven laufen als der Benutzer, und ein Empfänger ohne~/.forwardläuft unverändert durch.
pepsi-stage-aliases ergänzt diese, indem es vor der lokalen Zustellung die Umschlagempfänger über eine Postfix-virtual(5)-artige Map (Volladresse oder @domain-Catch-All, transitiv expandiert) expandiert.
pepsi-stage-vacation beantwortet Mail, die eintrifft, während ein Empfänger abwesend ist, und markiert den Betreff der weitergeleiteten Kopie, damit er bei seiner Rückkehr sehen kann, welche Mail für ihn beantwortet wurde. Es ist die eine Benutzerfilteraktion, die Pepsi selbst umsetzt, statt sie dem Sieve eines MDA zu überlassen. Die Antwort ist eine neue Nachricht, die signiert und weitergeleitet werden muss, und für die Entscheidung, keine zu senden, braucht es Wissen, das nur die Pipeline hat: RFC 3834 sagt, beantworte nie einen Bounce, Mailinglisten-Mail, irgendetwas bereits als automatisch Markiertes oder eine Dienstadresse, und Pepsi ergänzt sein eigenes „beantworte nie Spam“, „beantworte nie einen Absender, dessen SPF oder DMARC eindeutig fehlschlug“ (die Antwort ginge an eine gefälschte Adresse) und eine Ratenbegrenzung je Korrespondent. Urlaubszeiträume sind gewöhnliche Konfiguration je Adresse, sodass dieselbe Option im globalen Geltungsbereich ein nationaler Feiertag ist und im eigenen pepsi.settings-Datensatz der Urlaub einer einzelnen Person.
pepsi-stage-route ergänzt sie anders: Statt zuzustellen, wählt es je Empfänger einen nächsten Hop anhand der Domain dieses Empfängers und teilt die Nachricht, wenn ihre Empfänger uneins sind. Damit kann Pepsi einem bestehenden Mailsystem vorgeschaltet werden: Die Domains hinter dem Gateway gehen zu diesem System, und der Rest geht ins Internet. Es ist auch die Stelle, an der pepsi-setup nachweist, dass keine Domain, die dieser Host bedient, in seinen eigenen Ingress zurückgeroutet werden kann. Siehe Microsoft Exchange als Gateway.
11.19. Mailinglisten und Archive¶
Pepsis Mailinglisten-Subsystem ist eine Neuimplementierung von GNU Mailman 3: Sein Datenmodell, seine Rule/Chain- und Handler/Pipeline-Architektur, seine REST-API, sein E-Mail-Befehlsvokabular und die Namen seiner Benachrichtigungsvorlagen sind der Entwurf des GNU-Mailman-Projekts, urheberrechtlich geschützt durch die Free Software Foundation. Dateien, die aus GNU Mailman, Postorius oder HyperKitty übernommen wurden, stehen weiterhin unter der GNU General Public License (vendor/PEPSI-VENDORING.md führt sie auf). Der Abnahmetest lautet: Ein unveränderter mailmanclient, Postorius oder HyperKitty steuert es. Siehe Mailinglisten, Archive und Die REST-API von GNU Mailman 3.
Fünf Pipeline-Stages statt eines eigenen Daemons: Routing, Einlieferung, Zustellung pro Mitglied, E-Mail-Befehle und Bounce-Verarbeitung. Eine Listennachricht ist damit ein gewöhnlicher Datensatz in der Warteschlange, den ARC, DKIM, SRS, TLS und die Relay-Stages bereits behandeln. Wie das Subsystem aufgebaut ist ist die Übersicht.
Neun Adressen pro Liste und keine Alias-Datei. Mailman schreibt für die neun Adressen jeder Liste Postfix- oder Exim-Maps und lädt den MTA neu; Pepsi routet anhand des Empfängers innerhalb der eigenen Pipeline, es gibt also nichts neu zu erzeugen und nichts, was aus dem Tritt geraten kann.
Moderation mit dem Vokabular von upstream: achtzehn Rules, vier abschließende Chains (
accept,hold,reject,discard) und eine Pipeline aus siebzehn Handlern, mit den Namen, die die REST-API meldet. Pepsi fügt eine eigene Rule hinzu,dmarc-failure, die einen Beitrag zurückhält, der DMARC nicht bestanden hat, auf einer Liste mit eingeschaltetemhold_dmarc_failures(die Voreinstellung für Listen, die Pepsi anlegt).``List-*``-Header nach RFC 2369 und ``Archived-At`` nach RFC 5064 in jeder Listennachricht.
Ein-Klick-Abmeldung nach RFC 8058 –
List-Unsubscribe-Postplus eine mit einem Schlüssel gesichertehttps:-URI, die ein einzelnesPOSTausführt. Upstream hat das nicht. Erklärte Unterschiede zu GNU Mailman 3 nennt diese und die anderen Stellen, an denen Pepsi über upstream hinausgeht.Sammelnachrichten in beiden Formaten: die einfache Sammelnachricht nach RFC 1153 und das MIME-
multipart/digest, je Abonnent, mit Band- und Ausgabennummer, einer Größenschwelle und einem periodischen Timer.Bounce-Verarbeitung mit der Bewertungslogik von upstream, VERP-Zuordnung bei jeder Kopie (die siebzehn heuristischen Erkenner sind daher der Rückfall und nicht der Mechanismus), optionalen Probenachrichten, Warnungen und schließlich der Abmeldung.
Ein Archiv mit Volltextsuche, optionaler Trigramm-Teilzeichensuche, mbox-Import und -Export und einem
purge, das einen Grabstein hinterlässt. Es ist eine Neuimplementierung von HyperKitty und behält dessen Message-ID-Hash und URL-Schema bei, sodass bestehende Archivlinks eine Migration überstehen.Migration von Mailman 2.1 und 3: die
config.pckvon 2.1 wird mit einer eingeschränkten Pickle-Maschine gelesen, die keine Klasse instanziieren kann (ein nicht vertrauenswürdiges Pickle ist damit Daten und kein Code), und ein Mailman-3-Server wird über dessen eigene REST-API gelesen.Kein JavaScript auf irgendeiner Listen- oder Archivseite (Fehlendes HTTPS und fehlende Härtung über HTTP-Sicherheitsheader bei Webmail) außer auf den beiden Mitgliederseiten, die eine WebAuthn-Zeremonie ausführen und ein per Hash erlaubtes statisches Skript laden; und kein
403auf einer öffentlichen Oberfläche: Eine Ablehnung ist dasselbe404, das eine nicht vorhandene Liste erhält, denn ein403verrät, dass es sie gibt.
11.20. Unerwünschte Mail¶
Pepsi filtert, nachdem es eine Nachricht angenommen hat; alles Folgende entscheidet also, was mit Mail geschieht, die bereits in der Warteschlange liegt. Drei Mechanismen wirken über ein Urteil, state.spam, und eine Tabelle, pepsi.whitelist, zusammen:
Die Korrespondenz-Whitelist. pepsi-stage-auto-whitelist hält die Empfänger der Mail fest, die Ihre Benutzer senden; pepsi-stage-check-whitelist erkennt deren Antworten und setzt
state.spam = false. Wahlweise tut sie das nur, wenn DKIM, ein ausgerichtetes DMARC-Bestehen (ausgerichtetes SPF eingeschlossen), eine verifizierte Signatur oder ein benannter ARC-Versiegler für sie bürgt. Betreiber und Benutzer können sie mit pepsi-whitelist von Hand verwalten.Pay-to-Send (pepsi-stage-anti-spam): Mail von allen anderen wird zurückgehalten, bis ihr Absender einen kleinen GNU-Taler-Betrag zahlt. Die Gegenseite dazu ist pepsi-stage-auto-pay, das die Zahlungsforderungen, die auf ausgehende Mail Ihrer eigenen Benutzer zurückkommen, innerhalb ihrer Limits bezahlt.
Confirm-to-Send (pepsi-stage-secretary): Mail von allen anderen wird zurückgehalten, bis ihr Absender einmal auf eine Challenge antwortet. Die Antwort setzt ihn auf die Whitelist, sodass ein Korrespondenzpartner nur ein einziges Mal gefragt wird.
Auch Milter (SpamAssassin, rspamd, ClamAV, …) können das Urteil setzen oder beeinflussen: pepsi-ingress befragt sie während der SMTP-Sitzung, und pepsi-stage-milter führt einen als Pipeline-Stage aus. Ebenso der Sprachfilter: pepsi-stage-detect-language hält die Sprache fest, und pepsi-stage-block-language bewertet sie. Eine pepsi-stage-if-Stage verzweigt anhand jedes dieser festgehaltenen Werte, und pepsi-stage-discard ist die Senke, in der ein Zweig enden kann.
11.20.2. Mailinglisten, die Ihre Benutzer abonnieren¶
Die Beiträge einer Liste tragen die From:-Adressen ihrer Autoren, daher wird eine Liste als Ganzes anhand ihrer List-Id: auf die Whitelist gesetzt (ein list-id-Datensatz). Die Benutzer müssen diese Kennungen nicht eintippen:
Offline schlägt
pepsi-whitelist importjede Liste vor, auf deren Beiträge im durchsuchten Postfach der Benutzer mindestens einmal geantwortet hat, und fügt jede Liste hinzu, die der Benutzer bestätigt (eine Frage pro Liste, alle mit--yes, keine bei unbeaufsichtigtem Lauf). Siehe pepsi-whitelist.Live, mit
[stage-check-whitelist] RECORD_LIST_CONFIRMATIONS = yesund[stage-auto-whitelist] LIST_WHITELIST_NAME = {login}/lists, bekommt ein Benutzer, der auf die Abonnement-Bestätigungsanfrage einer Liste antwortet, diese Liste in seiner eigenen<login>/listsauf die Whitelist gesetzt. Die eingehende Anfrage wird inpepsi.list_confirmationfestgehalten, und die ausgehende Antwort muss sie inIn-Reply-To:nennen und an ihre Steueradresse gehen; nichts Schwächeres zählt, sodass ein Angreifer keine Regel einschleusen kann, indem er eine gewöhnliche Nachricht beantworten lässt. Das Verlassen einer Liste sendet kein Signal, daher verfällt ein gelernter Datensatz nachLIST_MAX_IDLE_DAYS(180) ohne passenden Beitrag. Fügen Sie{login}/listsdemWHITELIST_NAMEder Prüf-Stage hinzu, damit er herangezogen wird.
So oder so behält der Datensatz dkim_required (und, wenn gelernt, dmarc_required aus DMARC_REQUIRED): Eine List-Id: ist Text, den jeder Absender kopieren kann, daher muss ein Beitrag trotzdem authentifiziert sein, um zu passen. --sealer von Hand hinzuzufügen (pepsi-whitelist) schränkt den Datensatz weiter ein, auf Mail, die der eigene ARC-Versiegler der Liste verarbeitet hat.
11.20.3. Pay-to-Send und Confirm-to-Send im Vergleich¶
Beide halten die Mail unbekannter Absender zurück, und beide senden dem Absender eine automatische Antwort mit Null-Absender, in seiner Sprache. Sie unterscheiden sich darin, was der Absender beweisen muss:
Pay-to-Send |
Confirm-to-Send |
|
|---|---|---|
Der Absender beweist |
dass er für diese Nachricht Geld ausgeben wird |
dass er Mail an der Adresse lesen kann, von der er geschrieben hat |
Stoppt |
Massenmail in jedem Umfang, auch von funktionierenden Postfächern |
Massenmail von Adressen, die nicht empfangen können (den Großteil davon) |
Stoppt nicht |
einen zahlungswilligen Absender |
einen Spammer mit funktionierendem Postfach, der die Antwort automatisieren kann |
Abschreckung |
wirtschaftlich: Jede Nachricht kostet |
nur rechtlich: |
Benötigt |
ein GNU-Taler-Händler-Backend und eine Wallet auf Seiten des Absenders |
nichts außer einer Antwort |
Offen gesagt: Confirm-to-Send ist der schwächere Filter. Er lohnt sich trotzdem, weil er einen legitimen Korrespondenzpartner eine einzige Antwort kostet und einen Mailserver im Betrieb nichts. Und beide lassen sich kombinieren. Sind beide aktiviert, läuft der Sekretär zuerst und sein UNCHALLENGEABLE_STAGE zeigt auf die Bezahlschranke, sodass Mail, die man nicht um eine Antwort bitten kann (ein Listenbeitrag, ein nicht authentifizierter oder gefälschter Absender, ein Absender über der täglichen Challenge-Obergrenze), stattdessen zur Zahlung aufgefordert wird, während ein bestätigter Absender die Bezahlschranke mit state.spam = false erreicht und sie unberührt passiert.
Confirm-to-Send geht sorgsam mit Backscatter um, da seine Challenge an den Umschlagsabsender geht und der Umschlagsabsender von Spam meist gefälscht ist: Er fordert nur einen Absender heraus, der SPF oder DMARC bestanden hat (REQUIRE_AUTHENTICATED) und dessen From: dieselbe Adresse ist, höchstens MAX_CHALLENGES_PER_SENDER-mal pro Tag über alle Benutzer hinweg; er antwortet nie auf das, worauf RFC 3834 nicht zu antworten gebietet; und seine Challenge zitiert nichts von der zurückgehaltenen Nachricht außer einem kurzen Hinweis auf ihren Betreff (SUBJECT_HINT_LENGTH, standardmäßig acht Zeichen), und bei einer verschlüsselt eingetroffenen Nachricht nicht einmal das, sodass die Challenge kein Entschlüsselungsergebnis verraten kann (CBC-Padding- und Format-Orakel gegen nicht authentifiziertes S/MIME).
11.20.4. Spamfilter und der Sekretär¶
Standardmäßig werden spambewertende Milter (SpamAssassin über spamass-milter, rspamd, MIMEDefang, …) von pepsi-ingress während der SMTP-Sitzung befragt, laufen also vor der Whitelist-Prüfung, und der Assistent von pepsi-setup erzeugt diese Reihenfolge:
pepsi-ingress (MILTERS = spamassassin) → … → check-whitelist → secretary → local
UNCHALLENGEABLE_STAGE = local
Eine Nachricht, die der Filter ablehnt, wird in der Sitzung abgewiesen und erreicht den Sekretär nie, sodass offensichtlicher Spam keine Challenge an seinen gefälschten Absender auslöst und kein Backscatter entsteht. Was den Sekretär doch erreicht, hat den Filter passiert; deshalb setzt der Assistent UNCHALLENGEABLE_STAGE auf das eigene NEXT_STAGE des Sekretärs: Den Filter erneut laufen zu lassen, hieße zweimal zu scannen.
Die Alternative ist, den Filter als pepsi-stage-milter-Stage hinter dem Sekretär laufen zu lassen, sodass er nur Mail scannt, die nicht herausgefordert werden konnte:
… → check-whitelist → secretary → local
└─ UNCHALLENGEABLE_STAGE → milter-spamassassin → local
Die Konfigurationsänderung für einen Filter unter [pepsi-ingress-milter-spamassassin]:
Nehmen Sie den Filter aus der Sitzung: Entfernen Sie
spamassassinaus[pepsi-ingress] MILTERSund mit ihm den Abschnitt.Schreiben Sie
[stage-milter-spamassassin]mitPROGRAM = pepsi-stage-milter, demselbenSOCKETund denselbenALLOW_ACTIONSsowieNEXT_STAGEauf dasNEXT_STAGEdes Sekretärs gesetzt (hierlocal).Setzen Sie in
[stage-secretary]UNCHALLENGEABLE_STAGE = milter-spamassassin.
Führen Sie dann pepsi-setup check (oder run) aus, um den Graphen zu validieren.
Der Kompromiss wirkt in beide Richtungen:
Dafür: Die CPU-Zeit des Filters wird nur für die Mail aufgewendet, die ihn braucht. Mail von der Whitelist und Mail von bestätigten Absendern, also der Großteil eines persönlichen Postfachs, wird nie gescannt.
Dagegen: Challenges gehen ungescannt hinaus. Spam, den der Filter abgelehnt hätte, löst zuerst eine Challenge aus, was mehr Backscatter an gefälschte Absender bedeutet (begrenzt durch
REQUIRE_AUTHENTICATEDund die tägliche Obergrenze, aber nicht null). Und Spam, dessen Absender tatsächlich bestätigt, wird zugestellt, ohne dass der Filter ihn je sieht; das ist die eine Art Spam, die Confirm-to-Send nicht stoppen kann.
Welches Layout Sie auch wählen, Viren- und Richtlinien-Milter bleiben in der Sitzung (vor der Whitelist-Prüfung): Ein bestätigter oder auf der Whitelist stehender Korrespondenzpartner kann trotzdem Malware senden, von einem kompromittierten Konto aus oder unwissentlich, und das Urteil eines Richtlinienfilters gilt für alle.
11.21. Betriebsfunktionen¶
Einzeltabellen-Pipeline mit Absturzwiederherstellung: verwaiste
running-Datensätze werden beim Dispatcher-Start zurückgesetzt; in Bearbeitung befindliche Kindprozesse werden beim Herunterfahren zurückgesetzt.Elastische, pipelinende Worker-Pools und Watchdog: Jede Stage betreibt persistente Worker-Prozesse, die bei Bedarf bis zu ihrem
PARALLELISMgestartet und nachWORKER_IDLE_TIMEOUTabgeräumt, nachMAX_MESSAGESerneuert werden; jeder Worker bekommt bis zuQUEUE_LIMITNachrichten auf einmal zugeführt (in Bearbeitung befindliche KapazitätQUEUE_LIMIT × PARALLELISM, ohne zusätzliche Verbindungskosten), und ein Worker, derMAX_RUNTIMEbei der Nachricht überschreitet, die er gerade bearbeitet, wird beendet und ersetzt.Warteschlangen-Werkzeuge: pepsi-queue listet, löscht, verschiebt zwischen Stages und löst Nachrichten in großer Zahl los.
Zustandsüberwachung: pepsi-status gibt eine nur lesende Zusammenfassung der Warteschlange, festhängender Nachrichten, kumulativer Zustell-/Fehlerzähler und jüngster ausgehender TLS-Ergebnisse aus (auch als
--json), geeignet zur Ausführung über SSH.Einrichtung und DNS-Überprüfung: pepsi-setup installiert das Schema, lässt die DKIM-Schlüssel erzeugen und erzeugt die übrigen selbst und gibt DNS aus/validiert es (DKIM, SPF, MTA-STS).
HTTP-Server: pepsi-httpd bedient über einen oder mehrere TLS- (SNI-gewählte) oder Klartext-Listener die MTA-STS-Richtliniendatei (
/.well-known/mta-sts.txt), eine Prometheus-/metrics-Seite (nur auf einem Listener mitADMIN = yes, weil sie die Pipeline beschreibt), die Web-Key-Directory-Endpunkte, die die eigenen Identitäten dieser Installation veröffentlichen (/.well-known/openpgpkey/…, direkte und erweiterte Form), das Das Secure-Link-Ausweichportal-Portal und das untenstehende Mail-Autokonfigurations-Dokument.Autokonfiguration von Mail-Clients (draft-ietf-mailmaint-autoconfig): Ein Client, dem nichts als
fred@example.orggegeben wurde, holthttps://autoconfig.example.org/mail/config-v1.1.xmlund konfiguriert sich selbst — Submission-Host, Port, Transportsicherheit und Authentifizierung, und dasselbe für den Postfachserver. Die Submission-Hälfte wird vom laufenden Submission-Listener abgeleitet, sodass sie nicht von dem Server abdriften kann, den sie beschreibt; die Postfachhälfte benennt den MDA, mit dem die Installation gepaart ist. Ein Server ohne TLS wird erst veröffentlicht, wenn der Betreiber das bestätigt (ALLOW_PLAIN_AUTOCONFIG); andernfalls wird die Konfiguration verweigert, unter Nennung des Servers. Das Dokument wird öffentlich und ohne Authentifizierung ausgeliefert, wie der Entwurf es verlangt, weil ein Client es lesen muss, bevor er wissen kann, wie er sich authentifiziert.Administrative API und Konsole: Auf einem Listener, der ausdrücklich mit
ADMIN = yesgekennzeichnet ist, stellt derselbe Server die Die administrative API unter/api/v1(Warteschlange, Gesundheit, Konfiguration, Schlüsselspeicher, Prüf- und Mailjournale) und die Browser-Die Verwaltungskonsole unter/uibereit, die ein Client genau dieser API ist. Auf einem Listener, der sie im Klartext vom Host führen würde, tut er das nie. Überall sonst antworten diese Pfade mit demselben404wie ein unbekannter Pfad. Die Authentifizierung erfolgt über die Peer-Zugangsdaten des UNIX-Sockets, ein Sitzungs-Cookie oder ein Bearer-Token, und jeder Prinzipal trägt Geltungsbereiche; all das wird im Prüfprotokoll erfasst. Endbenutzer können sich per E-Mail anmelden: Ein Einmal-Link, der an eine vom Server bediente Adresse geschickt wird, eröffnet eine auf diese Adresse beschränkte Sitzung (Anmelden per E-Mail).Metriken:
pepsi-dispatchzeichnet den Durchsatz pro Stage, Kills/Timeouts, Abstürze und Verarbeitungszeit sowie die globalen Stage-/Nachrichten-Gesamtwerte auf (etwa einmal pro Minute in einer Transaktion in die Datenbank geschrieben), exportiert vonpepsi-httpdneben Live-Anzeigen für aktiv/pausiert, die aus der Warteschlange gelesen werden.Strukturiertes Logging über
tracingauf konfigurierbaren Stufen.
Für Standards, die Pepsi nicht implementiert (darunter BINARYMIME), siehe Anwendbare, noch nicht implementierte RFCs.
11.22. Funktionsstabilität¶
Jede in diesem Kapitel beschriebene Funktion wird in einer einzigen Funktionsstabilität-Tabelle erfasst. Sie hält für jede Funktion fest, welcher RFC maßgeblich ist, ob sie einen automatisierten Test hat (und welcher Art: U Unit, I Integration, I/U beides), ob sie von Hand verifiziert wurde und wie weit sie laut anonymer, freiwilliger Nutzungstelemetrie (pepsi-telemetry) verbreitet und genutzt ist.
Diese Tabelle wird generiert: contrib/update-feature-stability.sh führt das von Hand gepflegte Register contrib/feature-registry.tsv (Spalten Name, RFC, Test und manueller Test) mit einem pepsi-telemetry-GET /telemetry/report (den Verbreitungs- und Nutzungszahlen) zusammen. Siehe Die Pipeline erweitern dazu, wie Sie sie aktuell halten, wenn Sie eine Funktion hinzufügen, einen Test schreiben oder die Telemetriezahlen auffrischen.