95.1.26. pepsi-stage-auto-whitelist

whitelist recipients of outgoing mail

Section du manuel:

1

95.1.26.1.1. Nom

pepsi-stage-auto-whitelist - l’étape d’enregistrement des destinataires du pipeline Pepsi.

95.1.26.1.2. Synopsis

pepsi-stage-auto-whitelist [GLOBAL-OPTIONS] worker

95.1.26.1.3. Description

Cette étape a FUSION = yes par défaut : lorsque la fusion d’étapes est activée ([pepsi] ALLOW_FUSION, la valeur par défaut) et que cette étape est pliée dans le binaire pepsi unifié, un prédécesseur peut l’exécuter dans son propre processus worker plutôt que de la dispatcher séparément. Voir pepsi-dispatch(1) et pepsi.conf(5).

pepsi-stage-auto-whitelist est un programme d’étape que pepsi-dispatch(1) exécute comme un worker persistant ; ce worker lit les identifiants de message sur l’entrée standard. Pour chaque identifiant, il charge la ligne pepsi.workqueue (il refuse d’agir sauf si son status est running) et lit sa section [stage-<stage>]. C’est le pendant côté écriture de pepsi-stage-check-whitelist(1) : au passage d’un message sortant, il note chaque destinataire d’enveloppe (rcpt_to) dans une liste blanche nommée, de sorte que lorsque cette personne répond plus tard, pepsi-stage-check-whitelist(1) reconnaît son en-tête From: et laisse la réponse franchir la barrière de paiement anti-spam. Placez-la sur le chemin sortant (par exemple, en amont d’une étape de relais).

La liste blanche réside dans la table pepsi.whitelist, partagée avec pepsi-stage-check-whitelist(1) ; cette étape ne fait qu’y INSÉRER (et rafraîchir les lignes de listes de diffusion qu’elle a apprises). Chaque adresse de destinataire est stockée comme un whitelist_regex : l’adresse est mise en minuscules, chaque caractère non alphanumérique est échappé par antislash pour qu’il corresponde littéralement, et le résultat est ancré sur ^/$ afin qu’il corresponde à cette adresse et à rien d’autre. L’étape de vérification compare ce regex sans tenir compte de la casse (l’opérateur ~* de PostgreSQL) à l”addr-spec extraite par analyse de l’en-tête From: d’une réponse, et non à la valeur brute de l’en-tête. Une adresse en liste blanche écrite en position de nom d’affichage (From: "bob@example.com" <evil@attacker.example>) ne peut donc pas usurper une correspondance. L’ancrage sur les limites empêche en outre bob@example.com.evil de correspondre.

Chaque ligne insérée porte trois indicateurs de condition qui régissent quand une future réponse compte comme étant en liste blanche :

  • dkim_required est réglé à partir de l’option DKIM_REQUIRED de l’étape (par défaut yes) : lorsqu’il est vrai, la réponse n’est jugée digne de confiance que si le domaine de son From: est authentifié : par une réussite DKIM, ou par une réussite ARC que DMARC confirme également (voir pepsi-stage-check-whitelist(1)).

  • dmarc_required est réglé à partir de l’option DMARC_REQUIRED de l’étape (par défaut yes) : lorsqu’il est vrai, la réponse n’est jugée digne de confiance que si elle a réussi DMARC sur un identifiant aligné, réussite SPF alignée comprise. Une réussite dkim_required l’implique ; avec DKIM_REQUIRED = no (pour les correspondants dont les domaines ne signent pas), c’est ce qui lie encore la ligne à un expéditeur authentifié, de sorte qu’un From: falsifié nommant un correspondant ne correspond pas.

  • signature_required est mis à true lorsque l’état du message sortant a encrypted: true (le message était chiffré de bout en bout), sinon false. Cette clé est écrite par pepsi-stage-encrypt(1) : cette étape doit donc s’exécuter après l’étape de chiffrement (et, puisqu’elle ne modifie aucun contenu, peut s’exécuter entre celle-ci et pepsi-stage-dkim-sign(1), qui est l’endroit où --wizard de pepsi-setup(1) la place). Si l’étape est placée plus tôt, aucune ligne ne porte jamais l’indicateur. Bien placée, une ligne pour un correspondant chiffré ne correspond à une réponse que si celle-ci arrive avec une signature vérifiée (state.signature_verified, que pepsi-stage-decrypt(1) positionne).

Chaque ligne de destinataire est écrite avec match_field = 'from' : ce qui est consigné est une adresse d’où arrivera une réponse.

95.1.26.1.3.1. Listes de diffusion

Les contributions d’une liste de diffusion portent des adresses From: arbitraires, de sorte que les lignes de destinataires ne peuvent pas les couvrir. Avec LIST_WHITELIST_NAME défini, l’étape apprend aussi les listes auxquelles ses utilisateurs s’abonnent, sous forme de lignes match_field = 'list-id' comparées au List-Id: d’une contribution. Elle n’apprend que d’un seul signal : l’utilisateur qui répond à la demande de confirmation d’abonnement d’une liste. C’est un acte délibéré. L’étape n’apprend pas d’une réponse à n’importe quel message qui portait un List-Id:, puisque quiconque parvient à obtenir une réponse à un message pourrait alors implanter une règle.

La demande de confirmation est du courrier entrant et cette étape ne voit que le courrier sortant ; les deux sont donc corrélés via pepsi.list_confirmation : pepsi-stage-check-whitelist(1) avec RECORD_LIST_CONFIRMATIONS consigne chaque demande qu’il voit (par son Message-ID:, son destinataire, sa liste et ses adresses de contrôle), et cette étape apprend la liste lorsque toutes les conditions suivantes sont remplies pour un message sortant :

  • il est soumis localement (state.local_origin) ;

  • une demande consignée, encore dans les limites de LIST_CONFIRMATION_DAYS, a été remise à exactement cet expéditeur d’enveloppe ;

  • le message est adressé à l’une des adresses de contrôle de cette demande (l’adresse -request / -confirm+<token> à laquelle va la réponse) ; et

  • son In-Reply-To: nomme le Message-ID: de la demande.

Les trois premières trouvent leur réponse dans l’enveloppe ; le bloc d’en-têtes, que cette étape ne charge jamais sinon, n’est lu que pour un message qui ressemble déjà à une réponse de confirmation. La ligne est écrite dans le propre espace de noms de l”expéditeur : LIST_WHITELIST_NAME doit commencer par {login}/, qui est développé de la même façon que dans pepsi-stage-check-whitelist(1), de sorte qu’une liste qu’un utilisateur a rejointe n’est jamais mise en liste blanche pour quelqu’un d’autre. La ligne porte un motif exact ^…$ de l’identifiant de liste, dkim_required d’après DKIM_REQUIRED (par défaut yes : un List-Id: est un texte que n’importe qui peut copier, une contribution doit donc encore être authentifiée), dmarc_required d’après DMARC_REQUIRED, et aucun sealer_domain. (Épingler ce qui a scellé la demande reviendrait à faire confiance à la première utilisation, et casserait silencieusement la règle lorsque la liste change d’infrastructure.) Quitter une liste n’envoie aucun signal ; une ligne apprise expire donc. Elle porte last_seen et max_idle (LIST_MAX_IDLE_DAYS, par défaut 180). L’étape de vérification ignore la ligne une fois last_seen + max_idle dépassé, et avance last_seen chaque fois qu’une contribution authentifiée de la liste y correspond ; pepsi-queue gc la supprime. Une ligne pour la même liste qui n’expire jamais (écrite avec pepsi-whitelist add-list ou confirmée lors d’une invite de pepsi-whitelist import) est laissée telle quelle.

La manière dont une demande est reconnue, et donc ce qu’il faut pour en implanter une, est décrite sous « Demandes de confirmation de listes de diffusion » dans pepsi-stage-check-whitelist(1).

Les lignes existantes sont laissées intactes (l’insertion est ON CONFLICT DO NOTHING sur la contrainte UNIQUE(whitelist_name, match_field, whitelist_regex)), de sorte que retraiter un message est sans danger. L’étape fait ensuite avancer le message vers NEXT_STAGE. Elle ne modifie jamais le propre state du message et n’abandonne jamais un message, ne le fait jamais rebondir et ne le met jamais en pause ; un message sans destinataires avance simplement.

95.1.26.1.4. Configuration

Les options résident dans la propre section [stage-<name>] de l’étape (PROGRAM = pepsi-stage-auto-whitelist) : WHITELIST_NAME, obligatoire, qui nomme le groupe à peupler (un nom de liste blanche littéral ; l’étape ne développe aucun marqueur {login} ou {localpart} et refuse une valeur qui en contient un), DKIM_REQUIRED et DMARC_REQUIRED (tous deux yes par défaut), les options de listes de diffusion LIST_WHITELIST_NAME (non défini : aucune liste n’est apprise) et LIST_MAX_IDLE_DAYS (par défaut 180, de 1 à 3650), et un NEXT_STAGE. Le NEXT_STAGE est lui aussi obligatoire : l’étape enregistre les destinataires puis transmet toujours le message, donc pepsi-setup rejette une section qui n’en a pas. Les options sont documentées dans pepsi.conf(5).

95.1.26.1.4.1. La whitelist de qui

L’étape s’exécute sur le chemin sortant, de sorte que les couches par adresse de la configuration sont recherchées pour l”expéditeur d’enveloppe : les lignes pepsi.config_override de cette adresse aux portées domain:/address: et sa ligne pepsi.settings décident de la liste dans laquelle ses destinataires sont écrits.

L’opérateur peut nommer n’importe quelle whitelist, y compris une whitelist partagée, dans chacune de ses propres couches : le fichier INI, pepsi.config_override à n’importe quelle portée, et une ligne pepsi.settings écrite avec pepsi-settings(1). L’étape écrit dans la valeur effective telle qu’elle la trouve.

Un propriétaire de compte qui peut modifier cette étape par courrier (elle figure dans les EDITABLE_STAGES de pepsi-stage-edit-settings(1)) ne peut choisir qu’une whitelist qui lui est propre : un nom dans l’espace de noms <login>/... du compte auquel son adresse se résout (alice/sent, par exemple), ou la whitelist que la configuration de l’opérateur nomme déjà pour lui. pepsi-stage-edit-settings(1) refuse tout autre choix, car il lui permettrait de remplir cette liste d’adresses de son choix : une liste partagée, la liste d’un autre utilisateur, ou toute valeur pour une adresse qui ne correspond à aucun compte local. Le login est résolu comme pepsi-stage-check-whitelist(1) résout {login} : le domaine de l’adresse doit faire partie de LOCAL_DOMAINS (par défaut [pepsi-ingress] ACCEPTED_DOMAINS), sa local-part, sous-adresse après RECIPIENT_DELIMITER retirée, doit être un login passwd, et ce compte doit être permis par TARGETS. Ces trois options sont lues dans la section d’étape de l’opérateur, jamais dans la propre surcharge du propriétaire.

Une entreprise peut vouloir que chaque correspondant soit reconnu quel que soit le destinataire de sa réponse, par exemple un client invité à écrire à un collègue plutôt qu’à l’employé qui lui a écrit en premier. Une telle entreprise partage une seule whitelist entre tous les utilisateurs locaux ; cette étape l’écrit et l’étape de vérification la lit

[stage-auto-whitelist]
PROGRAM = pepsi-stage-auto-whitelist
NEXT_STAGE = dkim-sign
WHITELIST_NAME = correspondents

[stage-check-whitelist]
PROGRAM = pepsi-stage-check-whitelist
NEXT_STAGE = anti-spam
WHITELIST_NAME = correspondents

95.1.26.1.5. État

Entrées : les destinataires d’enveloppe proviennent de la colonne rcpt_to ; state.encrypted positionne l’indicateur signature_required stocké. pepsi-stage-encrypt(1) écrit cette clé, plus tôt sur le même chemin sortant, lorsque le message sortant a réellement été chiffré vers une clé de destinataire. Un correspondant atteint sous chiffrement est ainsi tenu plus tard aux mêmes exigences.

Sorties : aucune sur le message lui-même ; le state du message est laissé intact. L’effet de bord est une ligne pepsi.whitelist par destinataire, plus une ligne list-id apprise par liste dont le message répond à la demande de confirmation (voir « Listes de diffusion »). La disposition de l’état est décrite dans pepsi.state(7).

Transitions : avance toujours vers NEXT_STAGE : après avoir inséré une ligne de liste blanche par destinataire d’enveloppe, ou inchangé lorsqu’il n’y en a aucun. Il n’y a ni branche, ni réacheminement, ni fin. Seule une redéfinition par adresse qui casse la section de l’étape fait échouer le message (définitivement, comme toute erreur de configuration d’étape) ; un enregistrement échoué ne le fait pas (voir « Échecs »).

95.1.26.1.6. Commandes

worker

Exécuté comme un worker persistant de pepsi-dispatch(1), lisant les identifiants de message sur l’entrée standard.

95.1.26.1.7. Échecs

L’enregistrement est fail-open. Lorsque l”INSERT échoue (une erreur de base de données, un droit manquant), ou que la vérification des listes de diffusion ne peut aboutir, l’étape journalise un avertissement et avance tout de même le message : la liste blanche est une commodité pour la réponse du destinataire, et retenir le courrier sortant de l’utilisateur jusqu’à ce qu’elle puisse être enregistrée serait prendre les choses à l’envers. Un motif que PostgreSQL n’a pas pu compiler n’est jamais écrit (les motifs sont des adresses échappées, c’est donc un garde-fou, non un cas attendu).

95.1.26.1.8. Options globales

-c FILE, –config FILE

Lit la configuration depuis FILE au lieu de parcourir les emplacements par défaut.

-L LOGLEVEL, –log LOGLEVEL

Règle la verbosité de journalisation (par défaut [pepsi] LOG, sinon info).

-v, –verbose

Affiche les messages de journal de toutes les sources.

-h, –help ; -V, –version

Affiche un résumé d’utilisation / la version et quitte.

95.1.26.1.9. Code de sortie

Le résultat de chaque message est rapporté à pepsi-dispatch(1) sur la ligne de statut du worker, et non par le code de sortie.

0

Le worker s’est exécuté jusqu’à la fermeture de son entrée standard.

1

Une erreur fatale s’est produite (configuration illisible, la base de données n’a pas pu être ouverte, ou l’entrée/sortie standard a échoué). La raison est écrite dans le journal.

78

Le worker a refusé de démarrer : une section [stage-*] qu’il sert ne s’analyse pas (par exemple un WHITELIST_NAME manquant, un marqueur dans celui-ci, un LIST_WHITELIST_NAME qui ne commence pas par {login}/, ou un LIST_MAX_IDLE_DAYS hors de l’intervalle 1 à 3650). Le dispatcher remet en file ce qu’il lui avait confié et réessaie l’étape plus tard.

95.1.26.1.10. Exemples

Enregistrer les destinataires du message 42 (il doit être running)

echo 42 | pepsi-stage-auto-whitelist -c /etc/pepsi/pepsi.conf worker

Une section de pipeline sortant qui met en liste blanche tous ceux à qui nous écrivons, en exigeant que leurs réponses proviennent d’un domaine From: authentifié

[stage-auto-whitelist]
PROGRAM = pepsi-stage-auto-whitelist
NEXT_STAGE = srs
WHITELIST_NAME = trusted-senders
DKIM_REQUIRED = yes

95.1.26.1.11. Voir aussi

pepsi-config(1), pepsi-stage-check-whitelist(1), pepsi-stage-anti-spam(1), pepsi-stage-arc(1), pepsi-dispatch(1), pepsi.conf(5), pepsi.state(7), pepsi-setup(1)

95.1.26.1.12. Bogues

Signalez les bogues au gestionnaire de tickets de Pepsi.