95.1.10. pepsi-stage-bounce

rewrite a message into a delivery-status bounce

Section du manuel:

1

95.1.10.1.1. Nom

pepsi-stage-bounce - l’étape de génération de rebonds du pipeline Pepsi.

95.1.10.1.2. Synopsis

pepsi-stage-bounce [GLOBAL-OPTIONS] worker

95.1.10.1.3. Description

pepsi-stage-bounce est un programme d’étape : pepsi-dispatch(1) l’exécute comme un worker persistant, qui lit les identifiants de message sur l’entrée standard. Chaque identifiant désigne une ligne de la table pepsi.workqueue. L’étape charge cette ligne, refuse d’agir sauf si son status est running, et lit sa propre configuration depuis la section [stage-<stage>] du message (voir pepsi.conf(5)).

Il réécrit le message sur place en une notification d’état de remise (DSN) RFC 3464 : l’expéditeur d’enveloppe devient l’expéditeur nul (<>), le destinataire d’enveloppe devient l’expéditeur du message original, et le corps devient un multipart/report citant les en-têtes originaux.

« L’expéditeur du message original » est state.srs.original lorsque pepsi-stage-srs(1) en a noté un, et la colonne mail_from sinon. La distinction compte sur tout chemin de relais, car SRS s’exécute nécessairement avant l’étape de remise. Au moment où un DSN est composé ici, l’expéditeur d’enveloppe est déjà l’un de nos propres alias SRS. Un rapport adressé à cet alias partirait vers le saut suivant, puis reviendrait par notre propre MX pour être décodé. Il traverserait tout le pipeline entrant en tant que message à expéditeur nul, et n’atteindrait qu’ensuite une adresse qui figurait depuis le début sur la ligne. SRS est un chemin de retour pour un rebond que le saut suivant génère ; un rapport que nous écrivons nous-mêmes n’a pas besoin d’un tel détour. Voir pepsi.state(7). Par défaut, c’est un rebond d”échec (Action: failed) ; lorsque l’étape d’acheminement étiquette state.bounce avec kind = success, c’est à la place un rapport positif (Action: delivered). Le diagnostic et le destinataire sont pris dans le state que l’étape d’acheminement a laissé sur la ligne. Le From: du DSN est Mail Delivery Subsystem <POSTMASTER>, et POSTMASTER vaut par défaut postmaster@SERVER_NAME. Le DSN réécrit est laissé non signé ; la ligne est avancée vers le NEXT_STAGE de l’étape, normalement pepsi-stage-dkim-sign(1), qui le signe en DKIM (en tant que domaine du postmaster) avant qu’une étape de remise telle que pepsi-stage-relay-to-internet(1) le relaie. Un DSN est du courrier réfléchi : il est envoyé parce qu’un inconnu a envoyé quelque chose, à une adresse que cet inconnu a choisie. L’avancée est donc retenue : la ligne va vers NEXT_STAGE paused pour une durée aléatoire d’au plus [pepsi] REFLECTION_HOLD_MAX (30 s par défaut ; voir pepsi.conf(5)), puis le dispatcher la libère. Cela empêche qu’on cale les rapports de nombreux hôtes pour qu’ils arrivent tous en même temps chez une même victime.

Un message qui est déjà un rebond (il porte l’expéditeur d’enveloppe nul) n’est pas réécrit : il est supprimé et la suppression est journalisée. Un rebond ne rebondit jamais lui-même (RFC 5321 §6.1).

Un rapport n’est pas non plus envoyé à un expéditeur d’enveloppe que le message entrant n’a pas authentifié, ni par une réussite SPF pour son domaine, ni par une réussite DKIM alignée pour un From: de ce domaine (ou d’un parent ou d’un sous-domaine de celui-ci). Le spam falsifie son expéditeur, si bien qu’un rebond le concernant atterrit chez un tiers innocent (backscatter), ce qui vaut à cet hôte de finir sur une liste de blocage. Un tel message est supprimé, avec un avertissement dans le journal. S’il a échoué sur cet hôte plutôt qu’au saut suivant, l’avertissement nomme l’étape et l’erreur consignée. Une erreur DNS temporaire n’est pas un verdict : un rapport est donc envoyé lorsqu’une telle erreur a interrompu une vérification pour le propre domaine de l’expéditeur (SPF pour l’expéditeur d’enveloppe, ou DMARC ou une signature de ce domaine pour un From: de celui-ci) et que ni SPF ni DMARC n’ont franchement échoué. Une erreur concernant tout autre domaine ne compte pas : un falsificateur choisit le domaine d’une signature et peut empêcher son DNS de répondre. Le courrier soumis par nos propres utilisateurs, et les messages qu’une étape a elle-même créés (sans aucun state.auth), font toujours l’objet d’un rapport. BOUNCE_UNAUTHENTICATED = send désactive ce contrôle.

DSN (RFC 3461) : un rebond d’échec n’est généré que lorsque le NOTIFY du destinataire en échec a demandé FAILURE. L’étape agit selon les NOTIFY, ORCPT et ENVID que l’étape de remise d’acheminement a copiés depuis l’entrée state.dsn du destinataire sur l’objet state.bounce. Si aucun NOTIFY n’est porté, la valeur par défaut est FAILURE, de sorte que le courrier ordinaire rebondit tout de même ; mais NOTIFY=NEVER (ou une liste NOTIFY sans FAILURE) signifie que l’expéditeur ne veut pas de rapport d’échec, et le message est alors abandonné sans rebond. Lorsque les ENVID et ORCPT originaux ont été fournis, ils sont renvoyés en écho dans le DSN sous Original-Envelope-Id et Original-Recipient.

Lorsque pepsi-stage-aliases(1) ou pepsi-stage-dot-forward(1) a produit un destinataire en développant l’adresse qu’a utilisée l’expéditeur, le destinataire est rapporté sous cette adresse. Le développement consigne l’adresse (expanded_from dans l’entrée state.dsn du destinataire, que l’étape de remise copie dans state.bounce), et tout DSN au sujet de la cible la nomme comme Final-Recipient. Un tel DSN porte un Diagnostic-Code générique de la même classe (550 <status> delivery to a forwarded address failed, 450 … is delayed) et conserve le code Status: étendu. La destination de l’alias ou du ~/.forward d’un utilisateur, et ce qu’y a répondu l’hôte, sont des données de l’utilisateur, non de l’expéditeur (RFC 3464 section 4.2, RFC 3461 section 5.2.7.4) ; la cible et le vrai diagnostic sont journalisés pour l’opérateur, et le modèle BOUNCE_MESSAGE ne voit ni eux ni les champs remote_mta, smtp_code, phase et reply_text.

Un rapport qu’un serveur en aval envoie au sujet d’une telle copie reçoit la même réponse. La copie est partie avec une adresse de retour de réexpédition (pepsi-stage-srs(1)), et pepsi-ingress(1) transforme un rapport adressé à cette adresse en une ligne à cette étape au lieu de le remettre. La ligne a pour expéditeur d’enveloppe l’expéditeur d’origine et pour destinataire l’adresse qu’a utilisée l’expéditeur. Son state.bounce porte l”Action du rapport (failed, ou delay pour Action: delayed) et sa classe de statut, ainsi que le NOTIFY de l’expéditeur. La ligne porte aussi state.forward_return = true, state.crypto.in lorsque le message est arrivé chiffré, et un state.auth non prouvé lorsque son expéditeur n’était pas authentifié, pour que BOUNCE_UNAUTHENTICATED s’applique. Son bloc d’en-têtes contient les propres champs d’adressage de l’expéditeur tirés des en-têtes renvoyés par le rapport, ou rien pour un message arrivé chiffré ; un DSN qui n’a rien à citer n’a pas de troisième partie (la RFC 6522 section 3 la rend facultative).

Un message qui a échoué sur cet hôte arrive sans state.bounce : l’erreur d’une étape a été réessayée jusqu’à MAX_LIFETIME ou marquée permanente, le message a fait planter ou bloquer son worker, ou pepsi-failure-bouncer(1) a déplacé ici une ligne failed. Une telle ligne peut encore lister plusieurs destinataires, chacun avec son propre NOTIFY ; elle est donc d’abord scindée en une ligne par destinataire, et chaque copie fait ensuite l’objet d’un rapport, ou est abandonnée, selon l’entrée state.dsn propre à ce destinataire (RET compris). Le diagnostic est une phrase délibérément générique, choisie d’après state.failure_class, qui nomme au plus l’étape (state.failed_stage) : le state.last_error consigné peut nommer des fichiers, des objets de base de données et des hôtes ; il reste donc dans la ligne et dans le journal et n’est jamais copié dans un DSN. Le Status: est 5.4.7 pour retries-exhausted, 5.3.0 pour crashed/timed-out, 5.6.0 pour permanent, 5.7.1 pour quarantine-expired et 5.0.0 sinon.

Un rapport de succès (kind = success) n’est généré que lorsque le destinataire a explicitement demandé NOTIFY=SUCCESS (le succès, contrairement à l’échec, n’a pas de valeur par défaut implicite) ; l’étape d’acheminement n’en émet un que lorsque le ORIGINATE_SUCCESS_DSN global [pepsi] est activé. Un rapport de délai (kind = delay, Action: delayed) n’est généré que lorsque le destinataire a demandé NOTIFY=DELAY ; une étape de remise met en file une copie d’un message encore non remis ici (voir DELAY_DSN_AFTER dans pepsi-stage-relay-to-internet(1)) tandis que l’original continue d’être réessayé. Le success et le delay n’ont tous deux aucune valeur par défaut implicite.

La partie lisible par un humain (text/plain) du rebond est, par défaut, un avis intégré en anglais. Lorsque l’option BOUNCE_MESSAGE de l’étape nomme un modèle, cette partie est à la place rendue depuis bounce-<NAME>.<lang>.body sous le TEMPLATE_DIR [pepsi] (un modèle Mustache ; voir pepsi.conf(5)). <lang> est choisi d’après state.language dans son ordre q, avec repli sur en. Le rebond part vers l’expéditeur du message d’origine, et la langue que pepsi-stage-detect-language(1) a trouvée dans le message qu’il a écrit est la meilleure indication disponible de ce qu’il lit. C’est une approximation, et là où aucune détection n’a eu lieu (couramment sur le chemin de soumission) l’avis est en anglais. Un message dont le contenu est issu d’un EnvelopedData S/MIME (AES-CBC, sans protection d’intégrité), ou n’a pas pu en être ouvert, est considéré comme sans langue détectée : la langue dépend de l’ouverture ou non d’un texte chiffré CBC modifié, et un DSN rédigé dans cette langue le révélerait à l’expéditeur. Le contexte de rendu est tout le state du message, sauf ce qu’ont consigné les étapes cryptographiques entrantes (state.crypto, state.encrypted, state.signature_verified ; voir Courrier arrivé chiffré). Il est complété par les variables de premier niveau server_name, postmaster, bounce_to, failed_recipient, diagnostic, action (failed/delayed/delivered) et par les trois booléens failed / delayed / delivered. Grâce au détail du saut suivant qu’une étape de remise a capturé (state.bounce.remote_mta / smtp_code / enhanced_status / phase / reply_text), le rebond peut donc énoncer précisément pourquoi le MTA suivant a refusé le message. Le rendu se fait au mieux : tout échec retombe sur le texte intégré, de sorte qu’un rebond est toujours produit.

pepsi-stage-bounce n’effectue aucune remise réseau et n’émet aucune notification ; le message réécrit est remis par l’étape que nomme NEXT_STAGE.

95.1.10.1.4. Configuration

Les options de l’étape de rebond (SERVER_NAME, POSTMASTER, le NEXT_STAGE obligatoire, le modèle BOUNCE_MESSAGE facultatif, RET_FULL_MAX_SIZE et BOUNCE_UNAUTHENTICATED) sont documentées dans pepsi.conf(5).

95.1.10.1.5. Renvoyer le message (RET)

La troisième partie du DSN cite le message qui a échoué. Par défaut il s’agit de son bloc d’en-têtes, en text/rfc822-headers. Lorsque l’expéditeur d’origine a posé RET=FULL sur MAIL FROM, c’est le message entier qui est renvoyé à la place, en message/rfc822, ce que demande la RFC 3461 §6.2. pepsi-ingress(1) note le paramètre RET, qui parvient à cette étape dans state.bounce.ret.

L’exception est la taille. La §6.2 permet de ne renvoyer que les en-têtes lorsque le message « dépasse une taille définie par l’implémentation » ; RET_FULL_MAX_SIZE est cette taille (par défaut 256 Kio, mesurée sur l’ensemble du message stocké). Au-delà, le DSN retombe silencieusement sur la forme en-têtes et le journalise. La valeur 0 désactive la limite, de sorte qu’un message RET=FULL est toujours renvoyé en entier. Le corps n’est lu depuis la base de données que pour un message qui l’a demandé et qui tient dans la limite, de sorte qu’un rebond ordinaire ne coûte toujours qu’un chargement des seuls en-têtes.

Chaque bloc d’en-têtes cité, et le bloc d’en-têtes d’un message renvoyé, perd les propres champs d’annotation X-Pepsi-* de Pepsi : ils rapportent ce qu’ont trouvé les étapes entrantes et sont destinés au destinataire, non à l’expéditeur d’enveloppe, quel qu’il soit.

Un message marqué REQUIRETLS (state.tls_required = "required", voir pepsi-ingress(1)) n’est cité que par ses en-têtes quoi que demande RET : la RFC 8689 §5 demande d’ignorer RET=FULL pour un tel message, car son rebond peut emprunter un chemin de retour dépourvu de la protection que le message lui-même exigeait. Le DSN construit ici porte la même étiquette, de sorte que les étapes de relais ne le renvoient que sur un TLS validé et transmettent REQUIRETLS là où le chemin de retour l’annonce.

95.1.10.1.6. Courrier arrivé chiffré

Un message arrivé porteur d’un texte chiffré (state.crypto.in le consigne comme encrypted ou decrypted) n’est cité que par ses champs d’adressage : From, Sender, To, Cc, Date et Message-ID, sous forme de text/rfc822-headers, quoi que demande RET. Pas de Subject, pas de corps.

Nous le faisons pour éviter deux attaques. pepsi-stage-decrypt(1) s’exécute en premier sur le chemin entrant, de sorte qu’un message qui rebondit plus loin dans le pipeline (une barrière de paiement impayée, une boîte aux lettres pleine, un serveur LMTP qui refuse) contient du texte en clair. Un attaquant qui a capturé un texte chiffré peut le renvoyer sous son propre expéditeur d’enveloppe avec RET=FULL, faire en sorte qu’il rebondisse et recevoir le texte en clair ; le chiffrement authentifié n’y aide pas, car le texte chiffré n’est pas modifié. Ensuite, un DSN qui différerait entre un message qui s’est ouvert et un autre qui ne s’est pas ouvert (l’étiquette d’objet [decrypted], le champ X-Pepsi-Crypto, un corps déchiffré) indiquerait à l’expéditeur si un texte chiffré modifié se déchiffre encore, ce qui est la brique de base des attaques par oracle de remplissage contre S/MIME AES-CBC. Retenir les mêmes champs dans les deux cas supprime ce signal du contenu du DSN. Ce qui reste, c’est le fait même qu’un DSN soit envoyé et son texte de diagnostic, qui dépendent de ce qui a échoué et où, non du texte en clair. Les réglages de rebond de pepsi-stage-decrypt(1) et pepsi-stage-reencrypt(1) abandonnent, plutôt que de le faire rebondir, un message dont le texte chiffré n’avait aucune protection d’intégrité, de sorte que l’existence d’un DSN n’indique pas non plus à l’expéditeur si un texte chiffré AES-CBC modifié s’est ouvert.

Les réponses automatiques adressées à l’expéditeur d’enveloppe suivent la même règle : pepsi-stage-vacation(1), la demande de paiement de pepsi-stage-anti-spam(1) et le défi de pepsi-stage-secretary(1) ne citent pas l’objet d’un message arrivé chiffré.

95.1.10.1.7. État

Entrées : state.bounce, le contexte de rapport que l’étape d’acheminement a laissé sur la ligne. Son kind (permanent ⇒ un rapport d’échec Action: failed, success ⇒ Action: delivered, delay ⇒ Action: delayed) sélectionne le type de rapport ; diagnostic et failed_recipient y sont cités ; les notify/orcpt/envid facultatifs décident si le rapport est émis ou non et ce qui est renvoyé en écho ; le expanded_from facultatif remplace le destinataire et le diagnostic (voir ci-dessus) ; ret détermine si le message entier ou seulement ses en-têtes est renvoyé (voir ci-dessus) ; et les champs structurés facultatifs du saut suivant remote_mta/smtp_code/enhanced_status/phase/reply_text (écrits par les étapes de relais) sont exposés au modèle BOUNCE_MESSAGE et, pour enhanced_status, dans le champ Status: du DSN (sinon Status: vaut 5.0.0, 4.0.0 ou 2.0.0 selon le type). Une ligne sans state.bounce fait l’objet d’un rapport à partir de state.failed_stage/state.failure_class et de son state.dsn (voir Description) ; state.last_error n’est jamais que journalisé. state.srs.original, state.auth et state.local_origin choisissent et contrôlent le destinataire du DSN, state.crypto.in décide si le contenu est retenu, et state.language choisit la langue du modèle. Une autre étape peut créer un rapport comme ligne distincte à côté de l’original (un rebond ou un avis de succès par destinataire de pepsi-stage-relay-to-maildir ou pepsi-stage-discard, un avertissement de délai d’un relais). Une telle ligne porte le state du message original avec son propre enregistrement bounce par-dessus, de sorte que ces clés atteignent cette étape pour elle exactement comme pour un message réacheminé ; seuls state.list et la comptabilité de réessai et d’échec de la ligne originale restent en arrière.

Sorties : l’étape réécrit le message sur place et remplace state par une seule clé, retry_since (le moment où le DSN a été construit), de sorte que les étapes suivantes comptent leur MAX_LIFETIME à partir de là plutôt qu’à partir de l’arrivée du message original. Lorsque l’original portait tls_required = "required", l’étape conserve aussi cette clé ; c’est le seul élément de l’état de l’original qu’un DSN conserve (RFC 8689 §5). Le rebond est par ailleurs un nouveau message à expéditeur nul qui n’hérite d’aucune provenance de l’original (c’est la seule étape qui ne préserve pas state). La disposition de l’état est décrite dans pepsi.state(7).

Transitions :

  • un message entrant qui est lui-même un rebond (expéditeur nul) → terminer (abandonné, jamais renvoyé en rebond) ;

  • l’expéditeur d’enveloppe n’est pas authentifié, sans erreur DNS temporaire pour l’excuser, et BOUNCE_UNAUTHENTICATED vaut drop → terminer (abandonné sans DSN, journalisé comme avertissement) ;

  • une ligne sans state.bounce et avec plus d’un destinataire → d’abord scindée en une ligne par destinataire (les copies font l’objet de rapports indépendants) ;

  • le NOTIFY du destinataire ne demande pas le rapport que ce kind émettrait (l’échec a une valeur par défaut implicite ; success/delay non) → terminer (abandonné sans DSN) ;

  • sinon le message est réécrit sur place en un DSN et avancé vers NEXT_STAGE (la fin de chaîne signature/remise).

L’étape elle-même ne met jamais en pause, n’échoue ni ne réachemine. Une erreur (une base de données injoignable, par exemple) est réessayée comme pour toute étape ; une étape de rebond ne nomme normalement aucun BOUNCE_STAGE, de sorte qu’une erreur qui survit à MAX_LIFETIME laisse la ligne failed, et pepsi-failure-bouncer(1) laisse là où elle est une ligne qui a échoué à l’étape de rebond.

95.1.10.1.8. Commandes

worker

Exécuté comme un worker persistant de pepsi-dispatch(1), lisant les identifiants de message sur l’entrée standard.

95.1.10.1.9. Options globales

Ces options globales précèdent la sous-commande.

-c FILE, –config FILE

Lit la configuration depuis FILE au lieu de parcourir les emplacements par défaut.

-L LOGLEVEL, –log LOGLEVEL

Règle la verbosité de journalisation (error, warn, info, debug ou trace ; par défaut [pepsi] LOG, sinon info).

-v, –verbose

Affiche les messages de journal de toutes les sources, y compris les bibliothèques tierces.

-h, –help

Affiche un résumé d’utilisation et quitte.

-V, –version

Affiche la version et quitte.

95.1.10.1.10. Code de sortie

Le résultat de chaque message est rapporté à pepsi-dispatch(1) sur la ligne de statut du worker, et non par le code de sortie.

0

Le worker s’est exécuté jusqu’à la fermeture de son entrée standard.

1

Une erreur fatale s’est produite (configuration illisible, base de données impossible à ouvrir, ou échec de l’entrée/sortie standard). La raison est écrite dans le journal.

78

La section de l’étape ne s’analyse pas, ou ne nomme aucun NEXT_STAGE : le worker refuse de démarrer, et pepsi-dispatch(1) retient les messages de l’étape jusqu’à ce que la configuration soit corrigée.

95.1.10.1.11. Exemples

Exécuter l’étape de rebond sur le message 42 à la main (il doit être running)

echo 42 | pepsi-stage-bounce -c /etc/pepsi/pepsi.conf worker

95.1.10.1.12. Voir aussi

pepsi-config(1), pepsi.conf(5), pepsi.state(7), pepsi-stage-dkim-sign(1), pepsi-dispatch(1), pepsi-stage-relay-to-internet(1), pepsi-stage-relay-to-smarthost(1), pepsi-setup(1), pepsi-failure-bouncer(1)

« Unknown recipients and backscatter » et « Bounces and replies to encrypted mail » dans le chapitre sécurité du manuel de Pepsi, et « Loops and amplification » dans son modèle de menace.

95.1.10.1.13. Bogues

Signalez les bogues au gestionnaire de tickets de Pepsi.