95.1.15. pepsi-stage-relay-to-lmtp

deliver a message to a local MDA (Dovecot) over LMTP

Section du manuel:

1

95.1.15.1.1. Nom

pepsi-stage-relay-to-lmtp - l’étape de remise locale LMTP du pipeline Pepsi.

95.1.15.1.2. Synopsis

pepsi-stage-relay-to-lmtp [GLOBAL-OPTIONS] worker

95.1.15.1.3. Description

pepsi-stage-relay-to-lmtp est un programme d’étape exécuté par pepsi-dispatch(1). Il charge la ligne pepsi.workqueue du message (refusant d’agir si son status n’est pas running), lit sa section [stage-<stage>], et remet le message via LMTP (RFC 2033) à un Mail Delivery Agent, typiquement Dovecot, qui en assure la remise locale finale. Le MDA applique le script Sieve (RFC 5228) de chaque destinataire au moment où il classe le courrier, de sorte que le filtrage côté serveur (fileinto, vacation, redirect, pose d’indicateurs, …) est fourni par le MDA plutôt que par Pepsi.

L’étape remet un destinataire par ligne : elle scinde d’abord un message à plusieurs destinataires en une ligne pour chacun, en écartant un destinataire nommé deux fois, afin que chaque transaction LMTP ait un seul destinataire. Les réponses LMTP ne nomment aucun destinataire : après une panne, rien ne permettrait de savoir à qui appartient une réponse ultérieure, et un seul programme Sieve lent retarderait tous les destinataires de la transaction. Le coût est d’une connexion et d’une exécution Sieve par destinataire ; les lignes partagent un même corps stocké. L’étape elle-même ne construit jamais de notification d’état de remise. Elle remet, et sinon achemine le destinataire plus loin vers une étape configurée ; elle note le motif sous state.bounce afin qu’une pepsi-stage-bounce(1) en aval (ou un relais) puisse agir dessus. Le sort de chaque destinataire suit sa réponse (sa réponse de fin de DATA, ou le refus de son RCPT TO) :

  • 2xx : remis ; le destinataire quitte la ligne. Lorsque le destinataire a demandé NOTIFY=SUCCESS, que [pepsi] ORIGINATE_SUCCESS_DSN est activé et que le message n’est pas lui-même un rebond, une notification positive est acheminée vers le NOTIFY_STAGE facultatif.

  • un rejet permanent est acheminé par motif ; l’étape détermine le motif d’après le code d’état étendu RFC 3463 de la réponse. Une mauvaise boîte aux lettres de destination (x.1.x, ou x.2.x autre que x.2.2, ou un simple 550 utilisateur inconnu sans code d’état étendu) va vers UNKNOWN_MAILBOX_STAGE lorsque le destinataire appartient à l’un des LOCAL_DOMAINS, sinon vers NEXT_STAGE. Un rejet pour dépassement de quota (x.2.2) va vers QUOTA_LIMIT_STAGE (sinon vers NEXT_STAGE), un rejet Sieve / de politique locale (x.7.x) va vers SIEVE_REJECT_STAGE (sinon vers NEXT_STAGE). Tout le reste va vers BOUNCE_STAGE lorsque le destinataire appartient à l’un des LOCAL_DOMAINS et que cette option est définie, et sinon vers NEXT_STAGE.

  • 4xx (par exemple serveur occupé) : un échec transitoire. Le destinataire est réessayé avec un backoff exponentiel jusqu’à MAX_LIFETIME, puis acheminé selon le même classement des motifs.

  • pas de réponse après l’envoi de tout le message : un accusé de réception perdu. Un timeout n’annule rien chez le MDA, qui classe généralement le courrier quand même ; un réessai peut donc remettre une seconde copie. Le premier réessai attend au moins 15 minutes et le second au moins 30, et un worker tué ou planté à cette étape compte comme une réponse qui n’est pas venue. Après trois tentatives de ce genre, ou lorsque l’étape abandonne pour une raison quelconque après l’une d’elles, elle s’arrête et achemine un rapport vers BOUNCE_STAGE (sinon NEXT_STAGE) avec state.bounce.kind unknown. L’expéditeur apprend que le courrier est peut-être arrivé et qu’il doit le demander au destinataire. La RFC 3464 ne prévoit aucune action pour ce cas, et le rapport indique donc Action: failed avec Status: 4.4.2 : les tentatives ont été abandonnées.

Un destinataire arrivé avec un paramètre RRVS= RFC 7293 le voit transmis lorsque le MDA annonce RRVS. Dovecot, par exemple, ne l’annonce pas. Si le MDA ne l’annonce pas, l’action par défaut en cas de non-prise en charge, R, refuse ici ce destinataire avec 5.7.19 (acheminé comme tout rejet x.7.x). Avec C, l’étape le remet et écrit la demande sous forme de champ d’en-tête Require-Recipient-Valid-Since:.

La ligne d’un destinataire remis prend fin. Un destinataire acheminé devient une ligne pending à son étape cible, et un destinataire différé reste sur sa ligne pour le prochain réessai. Un avertissement DELAY (lorsqu’il est dû et que NOTIFY=DELAY a été demandé) est acheminé vers NOTIFY_STAGE. Tout cela forme une seule instruction avec la dernière mise à jour de la ligne (sa suppression, ou sa mise en pause jusqu’au réessai). Si cette instruction échoue, par exemple parce que la base de données est injoignable, l’erreur est réessayée et un destinataire accepté par le MDA reçoit une seconde copie : la remise est « au moins une fois ».

Un échec de la session entière avant toute réponse par destinataire, que ce soit à la connexion, au message d’accueil, à STARTTLS, à l’authentification ou au transfert des données, ne concerne pas un seul destinataire. Après un échec transitoire, tout le message est réessayé avec un délai croissant ; après un échec permanent (ou après tout échec une fois MAX_LIFETIME écoulé), chaque destinataire est acheminé plus loin sans que le motif soit classé : vers BOUNCE_STAGE lorsqu’il appartient à l’un des LOCAL_DOMAINS et que cette option est définie, sinon vers NEXT_STAGE. Certains refus permanents concernent le message plutôt que la session : le refus de MAIL FROM, d’un message plus grand que la limite SIZE du serveur, ou d’un contenu qui ne peut pas être rétrogradé pour ce serveur. Un tel refus est au contraire pris comme la réponse de chaque destinataire et acheminé par destinataire comme ci-dessus.

Toute autre erreur de l’étape, par exemple si la base de données refuse l’éclatement, est réessayée comme dans toute étape (après une minute, puis à intervalle doublé jusqu’à une heure) jusqu’à MAX_LIFETIME ; ensuite, le message va vers BOUNCE_STAGE lorsque la section en définit un (l’option qu’accepte toute section [stage-<name>]), ou est mis en échec.

Comme le MDA décide quelles adresses sont locales, cette étape n’effectue aucun test de localité propre (contrairement à pepsi-stage-relay-to-maildir(1)) : chaque destinataire est proposé au MDA. LOCAL_DOMAINS décide seulement où va ensuite une boîte aux lettres inconnue. Une boîte inconnue sur l’un de nos propres domaines ne doit pas atteindre une étape de relais, car le relais chercherait notre propre MX et renverrait le message tout droit à cet hôte ; elle va donc vers UNKNOWN_MAILBOX_STAGE. Sur tout autre domaine (une cible d’alias développée hors site), elle poursuit vers NEXT_STAGE. Placez l’étape là où n’arrivent que les destinataires censés être locaux, habituellement après l’expansion d’alias (pepsi-stage-aliases(1)). Elle n’est pas terminale : NEXT_STAGE est obligatoire. Réglez-le sur une pepsi-stage-bounce(1) pour faire rebondir les destinataires non remettables, ou sur une étape de relais pour les transférer hors site. Un message qui atteint l’étape sans NEXT_STAGE configuré est marqué failed avant que le MDA soit contacté, de sorte que rien n’est remis.

Contrairement à l’écriture Maildir locale, LMTP n’a besoin d”aucun helper privilégié : le MDA effectue lui-même la remise par utilisateur, de sorte que cette étape s’exécute en tant qu’utilisateur non privilégié pepsi et ne porte aucun bit setuid/setgid. Elle est intégrée au binaire unifié pepsi. Un PASSWORD n’a pas sa place dans le pepsi.conf lisible par tous : lorsque pepsi-setup(1) écrit la configuration, il déplace chaque PASSWORD dans le fragment secrets.d/pepsi.secret (mode 0640, lisible par le compte pepsi) et laisse à sa place une directive @inline-secret@. On fait confiance au MDA pour ce que l’étape lui remet, comme à tout helper externe que l’opérateur branche (voir le chapitre Modèle de menace du manuel de Pepsi).

95.1.15.1.4. Adresses recyclées (RFC 7293)

Pour chaque destinataire que le MDA a accepté, l’étape consigne le login passwd qui se cache derrière l’adresse, avec son uid, dans pepsi.login_assignment (voir pepsi-setup(1), The login assignment record), exactement comme le fait pepsi-stage-relay-to-maildir(1). L’adresse doit appartenir à LOCAL_DOMAINS, sa sous-adresse (le [pepsi] RECIPIENT_DELIMITER de tout le site) est retirée, et la partie locale en minuscules doit nommer une entrée passwd dont l’uid se trouve dans la plage que /etc/login.defs réserve aux comptes ordinaires. Un login qui revient sous un autre uid, ou après avoir été constaté disparu, a un nouveau propriétaire : la base de données abandonne à ce moment l’état par adresse du propriétaire précédent, et le journalise. Cela ne demande aucune configuration ; c’est ce qui permet à un site qui remet via un MDA de remarquer un login recyclé.

Les utilisateurs virtuels du MDA ne sont pas couverts : un destinataire que passwd ne connaît pas est remis mais pas consigné. Un changement de son propriétaire à l’intérieur du MDA n’est donc pas remarqué, et les paramètres et listes blanches du propriétaire précédent restent. Les recherches sont faites avant que le MDA ne soit contacté. Pendant une panne d’annuaire (un backend LDAP ou sssd en panne), le message est donc réessayé comme pour toute autre erreur alors que rien n’a encore été remis, et la panne n’est jamais interprétée comme « utilisateur inexistant ». L’enregistrement suit les réponses par destinataire du MDA, de sorte qu’un destinataire que le MDA a refusé n’est pas consigné. Une erreur de base de données à ce stade est journalisée plutôt que réessayée, car le MDA a déjà classé le message, et la remise suivante consigne le login.

95.1.15.1.5. Options

Mode d’exécution :

worker

S’exécute comme un worker persistant de pepsi-dispatch(1), lisant les identifiants de ligne workqueue sur l’entrée standard.

Configuration (dans la propre section [stage-<name>] de l’étape) :

PROGRAM

Doit être pepsi-stage-relay-to-lmtp.

NEXT_STAGE

Obligatoire. Où est acheminé un destinataire que le MDA n’a pas pu remettre (une mauvaise boîte aux lettres de destination, et le repli pour les motifs ci-dessous). Réglez-le sur une pepsi-stage-bounce(1) pour faire rebondir les destinataires non remettables, ou sur une étape de relais (par exemple pepsi-stage-srs(1) → un smarthost) pour les transférer hors site. pepsi-setup rejette une configuration qui en est dépourvue.

QUOTA_LIMIT_STAGE

Où acheminer un destinataire que le MDA a refusé pour dépassement de quota (RFC 3463 x.2.2). Par défaut NEXT_STAGE. Réglez-le sur une étape de rebond lorsque NEXT_STAGE est un relais, afin que les rejets pour quota provoquent un rebond plutôt qu’un relais hors site.

SIEVE_REJECT_STAGE

Où acheminer un destinataire refusé par Sieve / la politique locale (RFC 3463 x.7.x). Par défaut NEXT_STAGE.

UNKNOWN_MAILBOX_STAGE

Où acheminer un destinataire de l’un des LOCAL_DOMAINS que le MDA a refusé comme boîte aux lettres inconnue (x.1.x, un simple 550). Par défaut NEXT_STAGE. Réglez-le sur une étape de rebond dès que NEXT_STAGE peut atteindre un relais : relayer une adresse inconnue de notre propre domaine la remet à cet hôte. pepsi-setup --wizard le règle sur bounce.

LOCAL_DOMAINS

Les domaines dont le MDA détient les boîtes aux lettres (séparés par des espaces ou des virgules). Par défaut [pepsi-ingress] ACCEPTED_DOMAINS. Lu pour UNKNOWN_MAILBOX_STAGE, pour l’enregistrement des attributions de login (seul un destinataire de ces domaines est recherché dans passwd ; voir Adresses recyclées ci-dessus), ainsi que par le contrôle des destinataires de pepsi-ingress(1), qui demande au MDA si une adresse de ces domaines existe avant de l’accepter (voir VERIFY_RECIPIENTS).

NOTIFY_STAGE

Où sont acheminés les notifications de remise positives SUCCESS et les avertissements DELAY (sous la forme d’un message cloné portant state.bounce.kind) ; réglez-le sur une pepsi-stage-bounce(1), qui produit le rapport. À défaut, aucune notification positive ni de délai n’est générée. L’étape ne construit jamais de notification elle-même.

SOCKET

Chemin de la socket de domaine UNIX LMTP du MDA (par exemple /run/dovecot/lmtp). C’est la disposition habituelle pour la remise locale, sans TLS ni authentification. Exactement l’un de SOCKET et HOST doit être défini.

HOST / PORT

Atteindre plutôt le MDA via TCP (PORT vaut 24 par défaut). À utiliser pour un MDA sur un autre hôte.

TLS

Sécurité du transport pour une cible HOST : off (par défaut), starttls, ou tls (implicite). TLS_VERIFY (yes par défaut) et TLS_CA contrôlent la vérification PKIX ; TLS_CLIENT_CERT/TLS_CLIENT_KEY présentent un certificat client pour le TLS mutuel / SASL EXTERNAL.

AUTH

Mécanisme SASL pour une cible TCP : none (par défaut), plain, login ou external. L’authentification est refusée en clair, de sorte que tout AUTH autre que none exige TLS = starttls ou tls (et external exige un certificat client). USERNAME/PASSWORD fournissent l’identifiant (tous deux obligatoires pour plain et login ; pour external, un USERNAME facultatif est l’identité d’autorisation). Une cible SOCKET n’accepte aucun AUTH.

SERVER_NAME

Nom annoncé dans LHLO et estampillé dans l’en-tête Received:. Par défaut [pepsi-ingress] HOSTNAME ; l’un des deux doit être défini.

RETRY_INITIAL, RETRY_MAX_INTERVAL, RETRY_FACTOR, MAX_LIFETIME

Quand réessayer un destinataire différé de façon transitoire, et quand abandonner. Les durées utilisent les unités h/m/s. Valeurs par défaut : 60 s, 15 m, 2 et 120 h.

DELAY_DSN_AFTER

Émettre une notification « delayed » unique vers NOTIFY_STAGE une fois qu’un message encore non remis a passé cette durée en file et que le (premier) destinataire différé a demandé NOTIFY=DELAY. Non défini par défaut (pas d’avertissement de délai) ; sans effet sans NOTIFY_STAGE.

CONNECT_TIMEOUT, COMMAND_TIMEOUT, DATA_TIMEOUT

Délais d’attente LMTP par opération. Valeurs par défaut : 60 s, 120 s et 600 s. Un délai dépassé met fin à la session : les réponses déjà reçues restent valables, et chaque destinataire encore non résolu est différé. Un réessai peut remettre une seconde copie à un destinataire dont l’accusé de réception a été tardif.

95.1.15.1.6. Voir aussi

pepsi-dispatch(1), pepsi-stage-relay-to-maildir(1), pepsi-stage-aliases(1), pepsi-stage-bounce(1), pepsi.conf(5), pepsi.state(7).

RFC 2033 (LMTP), RFC 5228 (Sieve).