95.1.24. pepsi-stage-list-bounce¶
score an inbound bounce against the member it names
- Section du manuel:
1
95.1.24.1.1. Nom¶
pepsi-stage-list-bounce - l’étape de traitement des rejets de listes de diffusion du pipeline Pepsi.
95.1.24.1.2. Synopsis¶
pepsi-stage-list-bounce [GLOBAL-OPTIONS] worker
95.1.24.1.3. Description¶
pepsi-stage-list-bounce est un programme d’étape exécuté par pepsi-dispatch(1). Il consomme les rejets : un échec de remise revenu à l’adresse -bounces d’une liste est attribué au membre qu’il concerne et comptabilisé. Dès que le score franchit le seuil de la liste, la remise est désactivée pour ce membre, celui-ci est averti, puis finalement désabonné.
Trois choses portent le nom de « bounce » dans cet arbre et ce ne sont pas les mêmes. Celle-ci lit un rapport d’échec entrant. pepsi-stage-bounce(1) génère un DSN pour un message que Pepsi lui-même n’a pas pu remettre. pepsi-failure-bouncer(1) récupère les messages sur lesquels le pipeline a renoncé et les confie à ce générateur. Une configuration qui pointe le NEXT_STAGE de cette étape vers le générateur répond à un rejet par un rejet ; pepsi-setup(1) la refuse.
On arrive à cette étape depuis pepsi-stage-list(1), le routeur, qui y envoie un message lorsque son destinataire d’enveloppe est l’adresse -bounces d’une liste. On n’y arrive jamais autrement : un message qui arrive ici sans le descripteur state.list du routeur échoue.
95.1.24.1.4. Attribution¶
L’attribution se fait en quatre étapes, par certitude décroissante. Les deux premières sont exactes, parce que c’est Pepsi qui a écrit l’adresse qu’elles lisent.
L’enveloppe VERP. Chaque copie qu’une liste envoie porte l’expéditeur d’enveloppe
<list>-bounces+<local>=<domain>=<code>@<host>, de sorte qu’un rebond de cette copie nomme le membre sans ambiguïté. L’adresse n’est crue qu’après deux vérifications. La partie<list>-bouncesdoit correspondre à la boîte de rebonds propre à cette liste : sans cela, n’importe qui pourrait faire comptabiliser un rebond contre un membre d’une liste dont il ne fait pas partie. Et<code>doit se vérifier. Ce code est formé des huit premiers caractères base32 d’un HMAC-SHA256, calculé avec la clé[pepsi-list] VERP_SECRETsur la boîte de rebonds, le propre hôte de courrier de la liste (non le domaine que se trouve porter l’adresse) et le membre. Sans cette vérification, quiconque connaît une liste et un membre pourrait écrire l’adresse et faire désactiver ce membre par cinq jours de rapports falsifiés. Une adresse en forme de membre à la boîte de cette liste dont le code manque ou est faux est abandonnée sans être comptabilisée, journalisée, et comptée par la clé de télémétrielist-bounce-verp-rejected; elle n’est pas transférée non plus, puisque les détecteurs liraient un rapport falsifié aussi facilement qu’un vrai. L’étape refuse de démarrer sans le secret.Une correspondance VERP doit encore ressembler à un échec. Un échec temporaire est ignoré d’emblée, et un message VERP sans aucun échec reconnu est transféré et non comptabilisé : ce peut être une réponse d’absence ou le rapport d’un antivirus, arrivé à cette adresse au seul motif que c’est ce qui figurait sur l’enveloppe.
Un jeton de sonde (
<list>-bounces+<token>@<host>), lorsqueBOUNCE_PROBESest actif. Voir Sondes.Les détecteurs heuristiques, sur tout le message. Voir Formats de rejet reconnus.
Rien n’a pu être établi, auquel cas le rejet est emballé et transféré à un humain ; voir Rejets non reconnus.
95.1.24.1.5. Comptabilisation¶
La comptabilisation reproduit pas à pas la machine à états de GNU Mailman 3, parce que chaque attribut qu’elle lit est visible par l’API REST et que la documentation d’un serveur explique ce que chacun fait. Une liste dont process_bounces est désactivé abandonne chaque rebond avant tout cela, sans l’analyser.
la liste n’existe plus — abandon
l’adresse n’est pas membre — abandon
le rejet est une sonde — désactivation immédiate, sans comptabiliser ; un rejet de sonde est décisif
le membre est déjà désactivé pour cause de rejets — rejet résiduel ; abandon
un rejet a déjà été comptabilisé pour ce membre aujourd’hui — seul l’horodatage est mis à jour. Au plus une incrémentation par jour civil (UTC).
aucun rejet antérieur, ou un rejet plus ancien que
bounce_info_stale_after— le score est remis à 1 ; sinon il est incrémenté de unsi
bounce_notify_owner_on_bounce_incrementest posé et (le score est sous le seuil ou les sondes sont désactivées) — les propriétaires sont informésà
bounce_score_thresholdou au-delà : une sonde est envoyée siBOUNCE_PROBESest actif (ce qui remet le score à zéro), sinon le score est mis à zéro et la remise désactivéel’événement est marqué comme traité
L’étape 5 est la raison pour laquelle une tempête de rejets ne peut pas vider une liste en un après-midi : avec le seuil par défaut de 5, il faut à un membre des échecs sur cinq jours différents.
95.1.24.1.6. Avertissement et retrait¶
Désactiver un membre n’est pas le désabonner. Deux passes périodiques, exécutées par pepsi-list tasks --once (voir pepsi-list(1)), complètent le processus :
avertir — un membre désactivé pour cause de rejets ayant reçu moins de
bounce_you_are_disabled_warningsavertissements, et dont le dernier avertissement remonte à au moinsbounce_you_are_disabled_warnings_interval, en reçoit un ;retirer — une fois les avertissements épuisés et l’intervalle de nouveau écoulé, le membre est désabonné, et les propriétaires sont informés si
bounce_notify_owner_on_removalest posé.
Un membre qui s’est désactivé lui-même ou qu’un modérateur a désactivé n’est touché par aucune des deux passes.
Mettre bounce_you_are_disabled_warnings à zéro retire un membre désactivé à la passe suivante sans aucun courrier d’avertissement. C’est le comportement documenté d’amont, et il est délibéré, non un cas limite.
Les notifications que ces passes envoient sont injectées à [pepsi-list] NOTICE_STAGE, parce que les passes tournent depuis une minuterie et non depuis une étape. pepsi-setup(1) refuse une configuration qui fait tourner cette étape sans elle : sans étape où injecter, un membre serait averti trois fois dans la base et pas une seule par courrier.
95.1.24.1.7. Sondes¶
Avec [pepsi-list] BOUNCE_PROBES = yes, franchir le seuil envoie au membre une sonde au lieu de le désactiver : un message adressé à lui seul, depuis un expéditeur d’enveloppe portant un jeton à usage unique, avec le rejet déclencheur en pièce jointe. Le score du membre est remis à zéro tant que la sonde est en cours. Si la sonde est rejetée, le jeton l’identifie exactement et la remise est désactivée aussitôt ; si elle ne l’est pas, rien ne se passe et il continue de recevoir du courrier.
Les sondes sont activées par défaut (le verp_probes de l’amont est désactivé) : le jeton de la sonde est la seule chose d’un rebond que personne ne peut falsifier ; c’est donc la vérification finale avant qu’un membre ne soit désactivé sur la foi de rapports envoyés par quelqu’un d’autre. L’adresse VERP authentifiée empêche qu’une contrefaçon soit même comptabilisée, et la sonde empêche qu’un rebond réexpédié ou mal attribué désactive qui que ce soit. Le compromis : un message de plus vers une adresse probablement morte, contre le fait de ne pas désactiver un membre dont le fournisseur a eu un mauvais après-midi ; BOUNCE_PROBES = no rétablit le comportement de l’amont. Un jeton de sonde vaut dix jours et ne porte aucun en-tête Precedence: bulk : une sonde existe pour être rejetée, et cet en-tête invite certains systèmes à ne pas la rejeter.
95.1.24.1.8. Rejets non reconnus¶
Un rejet que rien n’a reconnu est emballé dans une notification explicative, l’original joint tel quel en message/rfc822, et envoyé à qui le forward_unrecognized_bounces_to de la liste désigne : administrators (par défaut), site_owner ou discard.
C’est une fonctionnalité et non un recours. Chaque rejet qui passe à travers est un format que le corpus n’a pas, et celui qui le reçoit peut envoyer l’échantillon aux mainteneurs de Pepsi afin que le détecteur soit écrit. Sous chaque disposition, discard compris, ce passage à travers est compté dans pepsi.event_log sous list.bounce.unrecognized, car sa fréquence montre si un serveur a besoin de détecteurs supplémentaires.
95.1.24.1.9. Formats de rejet reconnus¶
Il existe dix-sept détecteurs, essayés dans cet ordre ; le premier qui correspond l’emporte. Ils sont portés depuis flufl.bounce (Apache-2.0, copyright Barry Warsaw), et chacun est testé contre les données de test de cette bibliothèque :
dsn,exim,sina,yahoo,yale,smtp32,postfix,qmail,groupwise,microsoft,caiwireless,exchange,netscape,aol,simplematch,simplewarning,llnl
Un seul d’entre eux, dsn (RFC 3464), est une norme ; les autres nomment un éditeur ou un site. En pratique, ils comptent bien moins ici qu’en amont : Pepsi applique VERP à chaque copie de chaque message, de sorte qu’un rejet d’un message envoyé par Pepsi est attribué par son enveloppe sans que rien de tout cela soit consulté. Les détecteurs servent pour un rejet parvenu à une liste par un autre chemin.
Un message qu’aucun détecteur ne reconnaît n’est pas un rejet du point de vue de cette étape, et il est transféré plutôt que deviné. La distinction vaut d’être connue à la lecture d’un journal : « Pepsi ne l’a pas reconnu » et « Pepsi a décidé que ce n’était pas un échec » sont deux phrases différentes.
95.1.24.1.10. Configuration¶
[stage-list-bounce]
PROGRAMpepsi-stage-list-bounce.NEXT_STAGE(obligatoire)Où va un rejet non reconnu une fois emballé pour un humain : la remise ordinaire, pas une étape de liste. pepsi-setup(1) refuse une valeur qui désigne pepsi-stage-bounce(1) ou le routeur de listes.
RESPONSE_STAGE(obligatoire)Où la sonde destinée au membre et les notifications aux propriétaires sont injectées : la queue de signature, pas l’étape de remise des listes. Cette étape n’accepte que la copie d’un membre issue de l’éclatement et fait échouer tout le reste, si bien qu’une notification envoyée là ne part jamais ; pepsi-setup(1) refuse la mauvaise valeur.
[pepsi-list]
NOTICE_STAGEOù les passes périodiques d’avertissement et de retrait injectent leurs notifications. Obligatoire dès que cette étape existe.
BOUNCE_PROBESyesouno(par défautyes). Voir Sondes.VERP_SECRETSert de clé au code d’authentification de chaque expéditeur d’enveloppe VERP (voir Attribution). Obligatoire ; pepsi-setup(1) le génère et le conserve dans
secrets.d/pepsi-list.secret. Le renouveler rend invérifiable, et donc abandonné, tout rebond d’une copie déjà envoyée.BOUNCE_EVENT_RETENTIONDurée de conservation d’une ligne d’événement de rejet traitée, en jours (par défaut 1). Une fois comptabilisées, les lignes n’ont plus qu’un intérêt de diagnostic. Ce n’est pas la décroissance du score : la décroissance du score est l’attribut par liste
bounce_info_stale_after, et elle est appliquée paresseusement plutôt que par une passe nocturne.
Les neuf attributs par liste résident dans la base de données, où l’API REST peut les voir : process_bounces, bounce_score_threshold, bounce_info_stale_after, bounce_notify_owner_on_bounce_increment, bounce_notify_owner_on_disable, bounce_notify_owner_on_removal, bounce_you_are_disabled_warnings, bounce_you_are_disabled_warnings_interval et forward_unrecognized_bounces_to. Positionnez-les avec pepsi-list list set.
95.1.24.1.11. Différences avec GNU Mailman 3¶
La comptabilisation est synchrone. Amont enregistre un événement de rejet et le comptabilise lors d’une passe ultérieure ; Pepsi le comptabilise dans la transaction qui l’enregistre. La règle « au plus une incrémentation par jour civil » est ce qui rend inoffensifs deux rejets simultanés pour un même membre.
L’historique des rejets d’un site migré n’est pas repris. L’importateur d’amont ne le lit pas non plus, de sorte qu’un membre migré part d’un score nul et qu’une adresse morte depuis longtemps reçoit une tentative de remise de plus.
95.1.24.1.12. Code de sortie¶
Le worker ne se termine avec un code non nul que lorsqu’il ne peut pas s’exécuter du tout : 1 pour une erreur fatale (la base de données n’a pas pu être ouverte, ou l’entrée/sortie standard a échoué), et 78 lorsqu’il a refusé de démarrer parce que sa section [stage-*] ou [pepsi-list] ne s’analyse pas ; le dispatcher remet alors en file ce qu’il lui avait confié et réessaie l’étape plus tard. Un rebond qu’il ne parvient pas à interpréter est transmis, non mis en échec. Un rebond pour une liste qui n’existe plus, ou que l’analyseur MIME refuse, est abandonné avec une ligne de journal (il est arrivé à l’adresse -bounces propre à la liste, et y répondre est la façon dont naissent les boucles). Toute autre erreur est réessayée avec un back-off jusqu’à MAX_LIFETIME (voir pepsi-dispatch(1)).
Lorsqu’un rebond nomme plusieurs membres, les avis au propriétaire de chaque membre portent une étiquette dérivée de l’adresse du membre ainsi que de la position du propriétaire, de sorte que l’avis de chaque membre est envoyé, et non seulement le premier.
95.1.24.1.13. Voir aussi¶
pepsi-stage-list(1), pepsi-stage-list-post(1), pepsi-stage-list-command(1), pepsi-stage-list-deliver(1), pepsi-list(1), pepsi-stage-bounce(1), pepsi-failure-bouncer(1), pepsi-dispatch(1), pepsi.conf(5).