82. pepsi-stage-list-post¶
Moderiert eine Listennachricht, wandelt sie um und verteilt sie an die Mitglieder.
82.1. Aufgabe¶
pepsi-stage-list-post erhält eine Nachricht, die pepsi-stage-list als Listennachricht eingeordnet hat, und tut zwei Dinge mit ihr, in dieser Reihenfolge und unter diesen Namen: eine Chain aus Rules entscheidet, ob die Nachricht angenommen, zurückgehalten, zurückgewiesen oder verworfen wird, und anschließend entscheidet eine Pipeline aus Handlern, wie eine angenommene Nachricht umgewandelt und zugestellt wird. Moderation und Verarbeitung sind verschiedene Schritte mit verschiedenen Vokabularen, und sie zu vermischen ergibt etwas, das nicht Mailman ist. Die Namen von Rule, Chain, Handler und Pipeline sind ein Kompatibilitätsmerkmal, das die REST-API meldet und das posting_chain und posting_pipeline einer Liste benennen. Referenz: pepsi-stage-list-post(1).
Dieses Subsystem ist eine Neuimplementierung von GNU Mailman 3; siehe Mailinglisten, wo benannt ist, was von upstream übernommen wurde.
82.2. Moderation¶
Die voreingestellte Posting-Chain durchläuft die DMARC-Abmilderungsprüfung, die Prüfung auf fehlende Absender, die Umgehung per Moderatorpasswort (approved), die Rules für Schleife und gesperrte Adresse, Pepsis dmarc-failure-Rule, die serverweiten und listenbezogenen Header-Abgleiche, das Notfall-Flag sowie die Moderations-Rules für Mitglieder und Nichtmitglieder. Danach halten acht Rules nur fest, was sie finden (administrivia, implicit-dest, max-recipients, max-size, news-moderation, no-subject, digests und suspicious-header), und ein abschließendes any hält den Beitrag zurück, wenn eine davon angeschlagen hat. Insgesamt sind das die achtzehn Rules von Upstream, eine von Pepsi und vier abschließende Chains (accept, hold, reject, discard).
Ein Beitrag, der DMARC nicht bestanden hat, wird zurückgehalten. Eine Liste signiert und versendet, was sie verteilt, neu, sodass ein Beitrag, den seine From:-Domain nicht authentifiziert hat, sonst jedes Mitglied authentifiziert aussehend erreichen, und die Liste würde die Fälschung reinwaschen. dmarc-failure hält daher einen Beitrag zurück, dessen DMARC-Urteil beim Ingress fail ist, auf einer Liste mit eingeschaltetem hold_dmarc_failures (der Standard für von Pepsi angelegte Listen; importierte Listen erhalten no, siehe Einstellungen, die Pepsi erfunden hat), gleich welche Richtlinie die Domain veröffentlicht und ob der Einsender Mitglied ist oder nicht. Ein Fehlschlag, für den ein vertrauenswürdiger ARC-Versiegler gebürgt hat (ARC_TRUSTED_SEALERS), zählt als Pass. Ein Beitrag ohne Urteil wird nicht zurückgehalten, ebenso wenig einer, den ein authentifizierter Absender hier eingeliefert hat (state.local_origin), gleich welches Urteil der Ingress daneben festgehalten hat. Das Approved:-Passwort eines Moderators gibt einen zurückgehaltenen Beitrag frei, wie es jedes Zurückhalten freigibt.
Warnung
Ein korrektes Moderatorpasswort umgeht die Sperrliste. Das ist das Verhalten von upstream und Kompatibilität verlangt es, aber es ist eine scharfe Kante: ein Approved:-Header mit dem Moderatorpasswort der Liste springt direkt zu accept, über die Sperrliste, die Header-Regeln, das Notfall-Flag und beide Moderations-Rules hinweg.
Das Freigabepasswort überlebt nie. Ein Moderator darf eine Nachricht mit dem Passwort in einem Approved:-Header oder in der ersten Zeile des Nachrichtentexts freigeben; in welcher Form es auch eintraf, es wird entfernt, bevor die Nachricht archiviert oder zugestellt wird: aus dem Header, aus dem Klartextteil und aus der HTML-Alternative, die ein Mailprogramm daneben erzeugt hat. Ein Passwort, das in ein öffentliches Archiv gelangt, ist dauerhaft veröffentlicht, und die archivierte Kopie zu löschen holt die Kopien in fünftausend Postfächern nicht zurück. Die Rule entfernt, was sie gefunden hat, und der cleanse-Handler löscht anschließend alle vier Headernamen (Approve, Approved, X-Approve, X-Approved) bedingungslos, was das Einzige ist, das ein falsches Passwort entfernt. Ist das Passwort richtig, wurde sein gespeicherter Hash aber mit schwächeren Argon2id-Parametern erstellt, als neue Hashes erhalten, wird es erneut gehasht und gespeichert, so wie eine Konsolenanmeldung ihren eigenen Hash aufrüstet; der Header ist der eine Moment, in dem der Klartext gesehen wird.
82.3. Handler¶
Die Pipeline ist die von upstream, in der Reihenfolge von upstream: validate-authenticity, mime-delete, tagger, member-recipients, avoid-duplicates, cleanse, cleanse-dkim, cook-headers, subject-prefix, rfc-2369, to-archive, to-digest, to-usenet, after-delivery, acknowledge, dmarc, to-outgoing.
Ein Beitrag, aus dem mime-delete alles entfernt, geht in der Pipeline nicht weiter. filter_action der Liste entscheidet dann, was mit ihm geschieht (Wenn die Inhaltsfilterung nichts übrig lässt).
decorate und arc-sign fehlen, weil upstream sie in der eigenen Standard-Pipeline auskommentiert hat, und zwar aus den Gründen von upstream: alle Ausschmückung geschieht bei der Zustellung, und Ausschmückung bei der Zustellung würde eine hier angebrachte Signatur brechen. Beides gehört zu pepsi-stage-list-deliver und zum Signaturende der Pipeline. to-usenet ist eine ausdrückliche, protokollierte Leeroperation. gateway_to_news bleibt setzbar, weil seine Entfernung die Ressource verändern würde, die ein REST-Client sieht, aber Pepsi hat kein NNTP-Gateway, und eine stille Leeroperation würde einen Betreiber in dem Glauben lassen, sein Gateway funktioniere.
82.4. Geschriebene Header¶
Mailmans Namensraum X-Mailman-* ist zu X-Pepsi-List-* umbenannt, weil nichts in Postorius oder HyperKitty davon etwas liest und der einzige Abnehmer ein Mensch ist, der eine zurückgehaltene Nachricht liest. Umbenannt sind die Felder Version, Rule-Hits, Rule-Misses, Approved-At, Hash-ID, Duplicate und Copy; das X-Content-Filtered-By von Upstream wird zu X-Pepsi-List-Content-Filtered-By. Message-ID-Hash und seine alte Schreibweise X-Message-ID-Hash behalten ihre Namen: Sie tragen den Namen keines Projekts, jede Archiv-URL wird aus ihnen abgeleitet, und sie sind diejenigen, auf denen ein Dritter am ehesten etwas aufgebaut hat.
X-Pepsi-List-Hops hat kein Gegenstück bei Upstream und ist der einzige Header, den die Software wieder einliest. Er ist die Rückfallsicherung gegen einen Abonnementkreis über zwei oder mehr Listen, denn die loop-Rule erkennt nur eine Nachricht, die zur gleichen Liste zurückkehrt. Er reist in einem Header, weil ein Geschwisterdatensatz per SMTP hinausgeht und als gewöhnliche Post wieder eintritt, wo der Zustand des Datensatzes nicht überlebt. Da ein Header fälschbar ist, entfernt pepsi-ingress eine eingehende Kopie aus Mail, die nicht über einen authentifizierten oder lokalen Einlieferungsweg kam.
82.5. Das Fan-out¶
Jedes gewöhnliche Mitglied mit aktivierter Zustellung, das keine Sammelnachricht bezieht, erhält bedingungslos einen Datensatz. Jeder Datensatz hat seinen einzigen Empfänger und seinen eigenen VERP-Umschlagabsender <list>-bounces+<local>=<domain>=<code>@<host> (der Code verschlüsselt mit [pepsi-list] VERP_SECRET). Das erlaubt es dem Bounce-Pfad, einen Fehler genau einem Abonnement zuzuordnen, ohne den Bounce zu parsen, und die Zuordnung zu einer ausgedachten Adresse abzulehnen. Jeder Datensatz wird für eine zufällige, je Kopie gezogene Zeit von bis zu [pepsi] REFLECTION_HOLD_MAX (30 s) paused gehalten, bevor die Zustell-Stage ihn aufnimmt, da ein Beitrag reflektierte Mail ist (Unbekannte Empfänger und Backscatter). Über die Leitung geht die Empfängerliste, nicht die Nachricht: Die Header werden innerhalb der Datenbank kopiert und der Nachrichtentext per Verweis geteilt, eine Nachricht an fünftausend Mitglieder sendet also eine Nachricht und fünftausend kleine JSON-Objekte an PostgreSQL.
Das Fan-out erfolgt in Stapeln: Es werden höchstens [pepsi-list] LIST_FANOUT_BATCH Datensätze (Standard 256) auf einmal erzeugt, und die Nachricht pausiert zwischen den Stapeln mit den verbleibenden Empfängern in ihrem eigenen state. Jeder Geschwisterdatensatz verweist auf eine gespeicherte Kopie des aufbereiteten Nachrichtentexts in pepsi.workqueue_body, sodass das Fan-out einen 5-MB-Anhang einmal statt einmal pro Mitglied speichert; die Kopie eines Mitglieds erhält nur dann einen eigenen Nachrichtentext, wenn pepsi-stage-list-deliver sie umschreibt. Die Stapelung begrenzt, wie viele Datensätze jeder Schritt hinzufügt, und pepsi-queue zeigt ein laufendes Fan-out statt einer Warteschlange, die plötzlich gewachsen ist. Liegt die Warteschlange an einer der Zulassungsgrenzen von [pepsi], gibt die Stage einen leeren Stapel aus und sieht nach QUEUE_THROTTLE_DELAY erneut nach. Die Empfängerliste wird beim ersten Stapel festgeschrieben, sodass eine Abmeldung mitten in einem großen Versand keinen Nachbarn überspringen und keinen doppelt bedienen kann, und der Ausgangsdatensatz wird erst von dem Stapel gelöscht, der die Liste beendet, sodass ein Absturz genau diesen Stapel wiederholt und nichts weiter.
Eine Digest-Ausgabe nimmt ab ihrem zweiten Schritt denselben Weg: pepsi-list digest injiziert sie hier (als [pepsi-list] RELEASE_STAGE) mit ihren Digest-Mitgliedern bereits in state als Momentaufnahme. Sie wird daher wie ein pausierter Beitrag aufgefächert und durchläuft nichts von der Posting-Chain: keine Moderation, kein Archiv, kein Anhängen an einen Digest, keine Zähler. Jedes Geschwister wird markiert, damit pepsi-stage-list-deliver es nicht ausschmückt.
82.6. Der Autoresponder für Listennachrichten¶
autorespond_postings beantwortet Beiträge über die Kulanzfrist-Mechanik je Liste (autoresponse_grace_period), die auch die Ergebnismail der Befehls-Stage ratenbegrenzt. (Die Geschwister-Attribute autorespond_requests und autorespond_owner werden gespeichert und über REST gemeldet, aber keine Stage handelt danach.) Von den dreien ist autorespond_postings dasjenige, über das man lesen sollte. Es feuert auf der Beitrags-Adresse, ein falsch eingestellter Autoresponder antwortet also allen, die an die Liste schreiben. Auf einer Beitragsadresse bedeutet respond_and_discard, dass die Nachricht beantwortet und nicht verteilt wird – gelegentlich will ein Verwalter genau das (eine stillgelegte Liste, die „wir sind umgezogen“ antwortet) und niemals versehentlich, weshalb das Verwerfen mit warn protokolliert wird und die Verwalterkonsole den Wert klar benennt. Zwei nicht offensichtliche Regeln: Ein unbekannter Wert ist ``none`` (eine Antwortaktion, die niemand richtig schreiben kann, ist keine Erlaubnis, eine Mitgliedschaft anzumailen), und ein Beitrag, der nicht beantwortet werden konnte, wird dennoch zugestellt: Lehnt der Autoresponder ab, verwirft respond_and_discard nicht, denn eine Liste, die jede Nachricht eines Autoresponders stillschweigend verwirft, wäre der schlimmere Fehler. Jede automatische Antwort durchläuft zuerst das gemeinsame Regelwerk nach RFC 3834 (pepsi_common::autoreply); siehe pepsi-stage-vacation.
82.7. Konfiguration¶
[stage-<name>]: PROGRAM = pepsi-stage-list-post, DELIVERY_STAGE (erforderlich, und dort muss pepsi-stage-list-deliver laufen), BOUNCE_STAGE (erforderlich – hier bedeutet es das, was es überall außer bei pepsi-stage-list bedeutet), RESPONSE_STAGE (erforderlich, und es muss das Signaturende sein: Die Zustell-Stage nimmt nur die Kopie eines Mitglieds aus dem Fan-out an, eine dorthin gesendete Benachrichtigung geht also nie hinaus), REMOVE_DKIM_HEADERS (Standard no), SITE_HEADER_MATCH_CHAIN (Standard hold, serverweit, damit ein Listenverwalter die Spamregeln des Servers nicht in ein Verwerfen verwandeln kann) und die beiden Verfügbarkeitslimits SENDER_POSTS_PER_HOUR (Standard 30: Beiträge eines Absenders an eine Liste, die darüber hinaus innerhalb einer Stunde eingehen, werden für den Moderator zurückgehalten, statt an jedes Mitglied gesendet zu werden) und MAX_HELD_MESSAGES (Standard 1000 pro Liste: Ein Beitrag, der darüber hinaus zurückgehalten würde, wird verworfen, sodass eine offene Liste nicht zum Füllen der Festplatte missbraucht werden kann; verworfen wird der neue Beitrag, nicht der älteste, sodass eine Flut nicht hinausspülen kann, was ein Moderator noch nicht gesehen hat). Diese Grenzen, die Obergrenze [pepsi-list] MAX_LIST_HOPS (ein Beitrag, der so viele Listen durchlaufen hat, wird zurückgehalten statt zugestellt) und die Zulassungsdrosselung des Fan-outs sind die Mailinglisten-Einträge von Verfügbarkeit; Sicherheitsmodell („Resource limits“) sagt, wo jede durchgesetzt wird. pepsi-setup prüft alle drei Ziele und verweigert ein ``NEXT_STAGE``: Jeder Weg aus dieser Stage heraus ist ein Endpunkt.
REMOVE_DKIM_HEADERS ist standardmäßig aus, weil eine Liste, die nichts umschreibt, eine gültige Signatur hinterlässt und sie zu entfernen echte Belege verwirft; schalten Sie es für Listen ein, die eine Fußzeile oder ein Betreffpräfix hinzufügen, wo die überlebende Signatur fehlschlagen würde. Eine fehlschlagende Signatur ist schlimmer als keine, denn ein Fehlschlag ist ein Hinweis auf Manipulation und ein Fehlen nicht.
82.8. State¶
Eingaben:
state.list.id(von pepsi-stage-list geschrieben),state.auth(die vom Ingress festgehaltenen SPF/DKIM/DMARC-Urteile),state.list.pending_rcptbei einem fortgesetzten Fan-out undstate.list.moderator_approvedbei einem zurückgehaltenen Beitrag, den ein Moderator freigegeben hat.Ausgaben: ein
state.list-Deskriptor auf jedem Geschwisterdatensatz – die Mitglieds-ID, die Sprache des Mitglieds, seine Abmelde-Seriennummer und das Duplikat-Flag.Übergänge: Abschließen (der letzte Stapel eines Fan-outs, ein Zurückhalten, ein Verwerfen), Abschließen mit einem Nebenklon (die Zustellungsstatusbenachrichtigung einer Zurückweisung) oder Pausieren (ein Fan-out mit verbleibenden Empfängern).
82.9. Siehe auch¶
Mailinglisten, Archive, pepsi-stage-list, pepsi-stage-list-deliver, pepsi-list, pepsi-archive, pepsi-stage-list-post(1).