33. pepsi-dispatch¶
L’unique coordinateur de longue durée qui fait avancer les messages à travers les étapes.
33.1. Rôle¶
pepsi-dispatch est le seul processus qui démarre les programmes d’étape. Exécutez-en exactement un par système, sous la forme pepsi-dispatch serve (l’unique sous-commande ; les indicateurs globaux -c/-L/-v viennent avant elle). Il revendique les lignes nouvellement mises en file et transmet chacune à un processus worker inactif de l’étape de la ligne, remet en file les messages en pause lorsque leur heure de nouvelle tentative est échue, et récupère après les plantages et les timeouts. Il ne traite lui-même aucun contenu de message. Démarré en tant que root, il abandonne ses privilèges au profit du compte de service pepsi, dont les workers héritent. Référence : pepsi-dispatch(1).
33.2. Fonctionnalités¶
Revendication pilotée par événements, par lots. Fait un
LISTENsur les canauxworkqueue,config_changed,telemetry_changedetpepsi_list_changedavec un battement de cœurPOLL_INTERVALpériodique. À chaque réveil, il draine ses événements internes en attente (de sorte que les capacités par étape soient à jour) puis revendique le travail pour chaque étape disposant de capacité libre en un seulUPDATE … RETURNING— chaque étape jusqu’à sa propre capacité restante (unLATERAL … ORDER BY workqueue_id LIMIT cappar étape qui s’arrête au plafond via l’index partielpending). Avec exactement un dispatcher revendiquant en série comme unique écrivainpending``→``running, la revendication n’a besoin d’aucunFOR UPDATE SKIP LOCKED.Ordonnancement équitable entre expéditeurs. Par défaut (
FAIR_SCHEDULING), la réservation partage le temps de worker de chaque étape entre les expéditeurs, à la manière de l’ordonnanceur CFS/EEVDF de Linux, de sorte que la rafale d’un expéditeur ne retarde pas tous ceux qui attendent derrière lui. L’expéditeur est le compte authentifié, sinon l’adresse de connexion (une adresse IPv6 par son /64), sinon le domaine d’enveloppe d’un message créé localement.FAIR_FIFO_PERCENTdes créneaux restent dans l’ordre du plus ancien, ce qui borne le temps d’attente de tout message. La comptabilité n’est tenue qu’en mémoire.Workers persistants et pipelinés. Chaque étape exécute
PROGRAM worker(trouvé sur lePATHsauf s’il est absolu) sous forme de processus de longue durée qui se connectent une fois à la base de données et lisent les identifiants de message sur l’entrée standard, répondant par un statut d’une ligne (0en cas de succès) par message, dans l’ordre. Un worker reçoit jusqu’àQUEUE_LIMITidentifiants à la fois (écrits sur son entrée standard en un seul tampon) ; il les traite strictement en série, mais l’identifiant suivant est déjà en file, et le coordinateur économise ainsi un aller-retour par message. La capacité en vol d’une étape est doncQUEUE_LIMIT × PARALLELISM, et comme le nombre de workers est inchangé, cela ne coûte aucune connexion supplémentaire à la base de données.Pools élastiques par étape. Les workers sont démarrés à la demande jusqu’au
PARALLELISMde l’étape ; le travail est tassé sur le moins de workers possible, et les workers en surplus sont arrêtés aprèsWORKER_IDLE_TIMEOUT— de sorte qu’une étape calme retombe vers zéro worker et qu’une étape chargée croît jusqu’à son plafond. AprèsMAX_MESSAGESmessages, un worker recycle son processus enfant (une fois son pipeline drainé) ; une étape dont lePROGRAMne peut pas démarrer est mise en attente avec un court délai de refroidissement plutôt que de tourner en boucle.Avancer est l’écriture de l’étape. Une étape qui fait avancer un message positionne elle-même la ligne à
pendingà l’étape suivante, dans la même mise à jour qui déplacestage; le dispatcher ne réécrit jamais une ligne en cas de succès. Quand le worker rend compte de son état, le coordinateur passe à sa revendication suivante, qui prend la ligne pour le pool de l’étape suivante (de sorte qu’une avancée n’a besoin d’aucune notification). Un worker peut aussi fusionner un successeur rapide dans la même passe (voir pepsi-dispatch(1), Fusion d’étapes).Ordonnancement des réessais. Dort jusqu’au
timeoutde la lignepausedla plus proche (ou jusqu’à une récupération de worker due, un refroidissement de lancement ou le battement de cœur), puis rebascule les lignes dues enpendinget rebalaie.Reprise après plantage et watchdog. Un worker ne rapporte un état non nul que pour une erreur que son étape a marquée permanente (ou après avoir renoncé aux réessais) ; ce seul message passe en
failedet le worker survit. Un enfant planté, ou un message en cours resté sans réponse dans les limites deMAX_RUNTIME(chronométré par message, à partir du moment où il a atteint la tête de la file du worker ou la lignenextdu worker), vaut à ce message un avertissement : il est mis en pause et réessayé au bout d’une minute, puis de deux, et seul le troisième avertissement le met enfailed(plantage) outimeout(blocage), avecstate.failure_classcrashedoutimed-out. Les autres messages pipelinés du worker sont remis enpendingplutôt que perdus. Un enfant qui meurt avant d’afficherready, ou qui sort avec78(configuration ou schéma refusé), n’incrimine rien : ses messages retournent enpendinget l’étape est tenue à l’écart pendant un court temps de refroidissement. Les raisons sont écrites sous une gardestatus = 'running', de sorte qu’elles n’écrasent jamais une ligne qu’une étape a déjà fait avancer.Les erreurs d’étape sont réessayées. Une erreur qu’une étape ne marque pas comme permanente est traitée comme une défaillance de l’hôte : le worker met le message en pause (
state.last_error,state.temporary_failures; back-off d’une minute doublant jusqu’à une heure) et rapporte un succès ; au-delà duMAX_LIFETIMEde l’étape, il le réachemine versBOUNCE_STAGEou le fait échouer (failure_class = retries-exhausted).Les problèmes de base de données ne sont pas la faute du message. Un worker qui perd sa connexion à la base de données rapporte l’état
74; le dispatcher met le message en pause pendant 30 s et le réessaie aussi longtemps que la base reste absente. Un worker qui trouve les connexions à la base épuisées rapporte75; le message est remis en file et l’étape qui fait tourner le plus de workers voit son parallélisme divisé par deux pendant cinq minutes.Exactement un dispatcher. Un verrou consultatif PostgreSQL de portée session fait refuser de démarrer un second dispatcher (après avoir attendu une dizaine de secondes un prédécesseur encore en train de se terminer) : deux dispatchers déréserveraient mutuellement leurs lignes et remettraient, feraient rebondir ou régleraient des paiements deux fois.
Sûreté au démarrage et à l’arrêt. Réinitialise en
pendingau démarrage les lignesrunningorphelines (laissées par un dispatcher précédent) ; surSIGINT/SIGTERM, arrête les workers et réinitialise leurs lignes (ainsi que toute ligne revendiquée mais non assignée).Isolation. Au plus un écrivain touche jamais une ligne de file donnée, de sorte que le pool partagé fonctionne en
READ COMMITTED; les opérations de file sont tout de même enveloppées dans un helper de réessai qui réexécute un échec transitoire40001/40P01comme assurance bon marché.Propagation de la config. Passe
CONFIG_FILEaux workers via-c(avant la sous-commandeworker) afin qu’ils chargent la même configuration.Rechargement à chaud du pipeline. Sur une notification
config_changed, il reconstruit sa propre table d’étapes à partir de la surcouche en base de données et retire tous les workers — immédiatement ceux qui sont inactifs, et ceux qui sont occupés lorsque leur message en cours rend compte — de sorte qu’une modification de[stage-*]prenne effet sans redémarrage. Un graphe rechargé qui ne s’analyse pas met fin au processus (code de sortie78; l’unité redémarre avec back-off) plutôt que d’acheminer selon un pipeline que les workers ne partagent plus ; une surcouche qui ne peut pas être lue conserve le graphe courant et réessaie. Ses propres options[pepsi-dispatch]ne sont pas rechargées. Une notificationtelemetry_changedretire de même les workers afin que leurs puits de télémétrie suivent le changement, et une notificationpepsi_list_changed(une liste de diffusion ou un domaine de liste ajouté, renommé ou supprimé) les retire afin que le routeur recharge sa table de routes.Rechargement du fichier de configuration. Toutes les deux secondes, il compare la date de modification et la taille du fichier avec lequel il a été démarré (et de
CONFIG_FILElorsque celui-ci en nomme un autre) avec ce qu’il a lu en dernier ; un fichier modifié est relu et traité comme une notificationconfig_changed, de sorte qu’une modification depepsi.confatteint chaque étape sans redémarrage. Un fichier qui ne s’analyse pas n’est pas appliqué : l’erreur est journalisée et la configuration en cours conservée.Statistiques. Accumule en mémoire le débit par étape, les kills/timeouts, les plantages et le temps de traitement, plus les totaux globaux d’étapes et de messages, et vide les deltas vers les tables
stage_stats/dispatch_statsen une seule transaction à chaqueSTATS_INTERVAL, dès que le pipeline devient inactif (au plus une fois par seconde, afin que les chiffres d’une rafale terminée n’attendent pas le tic suivant) et à l’arrêt ; rien n’est écrit en l’absence de deltas. C’est l”unique écrivain de ces tables. Les chiffres des étapes fusionnées dans la passe de worker d’une autre étape reviennent sur la ligne de statut de cette passe au lieu d’être écrits par le worker, de sorte que les workers d’une étape ne se disputent pas l’unique ligne de cette étape. Ces valeurs sont exportées par le/metricsde pepsi-httpd.
33.3. Configuration¶
[pepsi-dispatch] : MAX_RUNTIME (par défaut 300 s), WORKER_IDLE_TIMEOUT (par défaut 5 s), POLL_INTERVAL (par défaut 30 s), STATS_INTERVAL (par défaut 60 s), DB_POOL_SIZE (par défaut 8), CONFIG_FILE (sans valeur par défaut ; sans lui, les workers retombent sur la recherche de configuration par défaut), FAIR_SCHEDULING (par défaut yes), FAIR_HALF_LIFE (par défaut 60 s) et FAIR_FIFO_PERCENT (par défaut 10). Chaque durée doit se situer dans (0, 168 h]. Les pools de workers par étape sont dimensionnés par PARALLELISM (par défaut 4), QUEUE_LIMIT (par défaut 4, le nombre de messages pipelinés vers un worker à la fois) et MAX_MESSAGES (par défaut 1000) dans chaque section [stage-<name>]. Voir pepsi.conf(5) et Configuration.
33.4. Voir aussi¶
Architecture, pepsi-queue, pepsi-ingress, pepsi-dispatch(1). Sécurité : le dispatcher et ses workers s’exécutent sous le compte pepsi (La séparation des privilèges), ce qu’obtient un worker compromis (Un attaquant qui compromet un worker d’étape), et les limites d’ordonnancement et d’exécution du tableau de disponibilité (Disponibilité).