33. pepsi-dispatch

Der einzige langlebige Koordinator, der Nachrichten durch die Stages treibt.

33.1. Rolle

pepsi-dispatch ist der einzige Prozess, der Stage-Programme startet. Betreiben Sie genau einen pro System, als pepsi-dispatch serve (das einzige Unterkommando; die globalen Schalter -c/-L/-v stehen davor). Er beansprucht neu eingereihte Datensätze und reicht jeden an einen untätigen Worker-Prozess der Stage des Datensatzes weiter, reiht pausierte Nachrichten erneut ein, wenn ihre Wiederholungszeit fällig ist, und erholt sich von Abstürzen und Timeouts. Er verarbeitet selbst keine Nachrichteninhalte. Als root gestartet, wechselt er auf das Dienstkonto pepsi, das die Worker erben. Referenz: pepsi-dispatch(1).

33.2. Funktionen

  • Ereignisgesteuertes, gestapeltes Beanspruchen. Lauscht mit LISTEN auf den Kanälen workqueue, config_changed, telemetry_changed und pepsi_list_changed, mit einem periodischen POLL_INTERVAL-Heartbeat. Bei jedem Aufwachen arbeitet er seine ausstehenden internen Ereignisse ab (sodass die Kapazitäten pro Stage aktuell sind) und beansprucht dann Arbeit für jede Stage mit freier Kapazität in einem UPDATE … RETURNING — jede Stage bis zu ihrer eigenen verbleibenden Kapazität (ein LATERAL … ORDER BY workqueue_id LIMIT cap pro Stage, das über den partiellen pending-Index bei der Obergrenze stoppt). Da genau ein Dispatcher seriell und als einziger pending``→``running-Schreiber beansprucht, benötigt das Beanspruchen kein FOR UPDATE SKIP LOCKED.

  • Faire Verteilung über Absender. Standardmäßig (FAIR_SCHEDULING) teilt das Beanspruchen die Worker-Zeit jeder Stage in der Art des Linux-Schedulers CFS/EEVDF unter Absendern auf, sodass der Schwall eines Absenders nicht alle hinter ihm Eingereihten verzögert. Als Absender gilt das authentifizierte Konto, sonst die verbindende Adresse (eine IPv6-Adresse nach ihrem /64), sonst die Umschlag-Domain einer lokal erzeugten Nachricht. FAIR_FIFO_PERCENT der Plätze bleiben nach Alter geordnet, was begrenzt, wie lange eine Nachricht warten kann. Die Buchführung wird nur im Speicher gehalten.

  • Persistente Worker mit Pipelining. Jede Stage führt PROGRAM worker (auf PATH gesucht, sofern nicht absolut) als langlebige Prozesse aus, die sich einmal mit der Datenbank verbinden, Nachrichten-IDs von der Standardeingabe lesen und pro Nachricht der Reihe nach mit einem einzeiligen Status (0 bei Erfolg) antworten. Einem Worker werden bis zu QUEUE_LIMIT IDs auf einmal übergeben (in einem einzigen Puffer auf seine stdin geschrieben); er verarbeitet sie streng seriell, aber die nächste ID steht bereits an, was einen Round-Trip zum Koordinator pro Nachricht spart. Die Kapazität einer Stage an Nachrichten in Bearbeitung beträgt daher QUEUE_LIMIT × PARALLELISM, und weil die Anzahl der Worker unverändert bleibt, kostet das keine zusätzlichen Datenbankverbindungen.

  • Elastische Pools pro Stage. Worker werden bei Bedarf bis zum PARALLELISM einer Stage gestartet; die Arbeit wird auf möglichst wenige Worker gepackt, und überschüssige Worker werden nach WORKER_IDLE_TIMEOUT gestoppt — sodass eine ruhige Stage gegen null Worker schrumpft und eine ausgelastete bis zu ihrer Obergrenze wächst. Nach MAX_MESSAGES erneuert ein Worker seinen Kindprozess (sobald dessen Pipeline geleert ist); eine Stage, deren PROGRAM nicht starten kann, wird mit einer kurzen Abkühlung zurückgehalten, statt ununterbrochen neu gestartet zu werden.

  • Das Weiterschalten ist der Schreibvorgang der Stage. Eine Stage, die eine Nachricht weiterschaltet, setzt den Datensatz selbst auf pending bei der nächsten Stage, in derselben Aktualisierung, die stage verschiebt; der Dispatcher schreibt einen Datensatz bei Erfolg nie um. Meldet der Worker seinen Status, geht der Koordinator zu seiner nächsten Beanspruchung über, die den Datensatz für den Pool der nächsten Stage aufgreift (ein Weiterschalten braucht daher keine Benachrichtigung). Ein Worker kann auch einen schnellen Nachfolger in denselben Durchlauf fusionieren (siehe pepsi-dispatch(1), Stage-Fusion).

  • Einplanung von Wiederholungen. Schläft bis zum timeout des frühesten paused-Datensatzes (oder bis zum fälligen Einsammeln eines Workers, einer Start-Abkühlung oder dem Heartbeat), kippt dann fällige Datensätze zurück auf pending und scannt erneut.

  • Wiederherstellung nach Absturz und Watchdog. Ein Worker meldet einen Status ungleich null nur für einen Fehler, den seine Stage als permanent markiert hat (oder nachdem er die Wiederholungen aufgegeben hat); diese eine Nachricht wird failed, und der Worker überlebt. Ein abgestürztes Kind oder eine laufende Nachricht, die innerhalb von MAX_RUNTIME unbeantwortet bleibt (je Nachricht gemessen, ab dem Zeitpunkt, an dem sie den Kopf der Warteschlange des Workers oder die next-Zeile des Workers erreicht hat), gibt dieser Nachricht einen Strike: Sie wird pausiert und nach einer Minute, dann nach zwei wiederholt, und erst der dritte Strike setzt sie auf failed (Absturz) oder timeout (Hänger), mit state.failure_class crashed oder timed-out. Die anderen gepipelineten Nachrichten des Workers werden wieder auf pending eingereiht statt verloren. Ein Kind, das stirbt, bevor es ready ausgibt, oder mit 78 endet (Konfiguration oder Schema abgelehnt), beschuldigt nichts: Seine Nachrichten gehen zurück auf pending, und die Stage wird für eine kurze Abkühlzeit zurückgehalten. Gründe werden unter einer status = 'running'-Bedingung geschrieben, sodass sie nie einen Datensatz überschreiben, den eine Stage bereits weitergeschaltet hat.

  • Stage-Fehler werden wiederholt. Ein Fehler, den eine Stage nicht als permanent markiert, wird als Fehler des Hosts behandelt: Der Worker pausiert die Nachricht (state.last_error, state.temporary_failures; Backoff von einer Minute, verdoppelt bis zu einer Stunde) und meldet Erfolg; nach dem MAX_LIFETIME der Stage leitet er sie zu BOUNCE_STAGE um oder lässt sie fehlschlagen (failure_class = retries-exhausted).

  • Datenbankprobleme sind nicht die Schuld der Nachricht. Ein Worker, der seine Datenbankverbindung verliert, meldet Status 74; der Dispatcher pausiert die Nachricht für 30 s und wiederholt sie, solange die Datenbank fernbleibt. Ein Worker, der die Datenbank ohne freie Verbindungen vorfindet, meldet 75; die Nachricht wird wieder eingereiht, und die Stage mit den meisten Workern bekommt ihre Parallelität für fünf Minuten halbiert.

  • Genau ein Dispatcher. Ein sitzungsbezogener Advisory-Lock von PostgreSQL lässt einen zweiten Dispatcher den Start verweigern (nachdem er etwa zehn Sekunden auf einen Vorgänger gewartet hat, der sich noch beendet): Zwei würden einander die Datensätze entziehen und doppelt zustellen, bouncen oder Zahlungen abwickeln.

  • Sicherheit bei Start und Herunterfahren. Setzt verwaiste running-Datensätze (von einem vorherigen Dispatcher) beim Start auf pending zurück; bei SIGINT/SIGTERM stoppt er die Worker und setzt deren Datensätze (sowie alle beanspruchten, aber nicht zugewiesenen) zurück.

  • Isolation. Höchstens ein Schreiber berührt je einen gegebenen Datensatz der Warteschlange, sodass der gemeinsame Pool mit READ COMMITTED läuft; Warteschlangenoperationen sind dennoch in einen Wiederholungshelfer gehüllt, der einen vorübergehenden 40001/40P01-Fehler als günstige Versicherung erneut ausführt.

  • Konfigurationsweitergabe. Übergibt CONFIG_FILE über -c (vor dem Unterkommando worker) an die Worker, sodass sie dieselbe Konfiguration laden.

  • Neuladen der Pipeline im laufenden Betrieb. Auf eine config_changed-Benachrichtigung hin baut er seine eigene Stage-Tabelle aus der Datenbank-Überlagerung neu auf und mustert jeden Worker aus — untätige sofort, beschäftigte, sobald ihre aktuelle Nachricht zurückgemeldet ist —, sodass eine [stage-*]-Änderung ohne Neustart wirksam wird. Ein neu geladener Graph, der sich nicht parsen lässt, beendet den Prozess (Exit 78; die Unit startet mit Backoff neu), statt nach einer Pipeline zu routen, die die Worker nicht mehr teilen; eine Überlagerung, die sich nicht lesen lässt, behält den aktuellen Graphen und versucht es erneut. Seine eigenen [pepsi-dispatch]-Optionen werden nicht neu geladen. Eine telemetry_changed-Benachrichtigung mustert die Worker ebenfalls aus, damit ihre Telemetrie-Senken der Änderung folgen, und eine pepsi_list_changed-Benachrichtigung (eine Mailingliste oder Listendomain wurde hinzugefügt, umbenannt oder entfernt) mustert sie aus, damit der Router seine Routentabelle neu lädt.

  • Neuladen der Konfigurationsdatei. Alle zwei Sekunden vergleicht er Änderungszeit und Größe der Datei, mit der er gestartet wurde (und von CONFIG_FILE, wenn dieses eine andere nennt), mit dem, was er zuletzt gelesen hat; eine geänderte Datei wird neu gelesen und wie eine config_changed-Benachrichtigung behandelt, sodass eine Bearbeitung von pepsi.conf jede Stage ohne Neustart erreicht. Eine Datei, die sich nicht parsen lässt, wird nicht angewendet: Der Fehler wird protokolliert und die laufende Konfiguration behalten.

  • Statistiken. Sammelt Durchsatz, Kills/Timeouts, Abstürze und Verarbeitungszeit pro Stage sowie die globalen Stage-/Nachrichten-Gesamtwerte im Speicher und schreibt die Deltas in einer einzigen Transaktion in die Tabellen stage_stats/dispatch_stats: alle STATS_INTERVAL, immer wenn die Pipeline in den Leerlauf geht (höchstens einmal pro Sekunde, damit die Zahlen eines beendeten Ansturms nicht auf den nächsten Takt warten müssen) und beim Herunterfahren; ohne Deltas wird nichts geschrieben. Er ist der einzige Schreiber dieser Tabellen. Die Zahlen von Stages, die in den Worker-Durchlauf einer anderen Stage fusioniert wurden, kommen auf der Statuszeile dieses Durchlaufs zurück, statt vom Worker geschrieben zu werden, sodass die Worker einer Stage nicht um deren einzigen Datensatz konkurrieren. Diese werden über /metrics von pepsi-httpd exportiert.

33.3. Konfiguration

[pepsi-dispatch]: MAX_RUNTIME (Standardwert 300 s), WORKER_IDLE_TIMEOUT (Standardwert 5 s), POLL_INTERVAL (Standardwert 30 s), STATS_INTERVAL (Standardwert 60 s), DB_POOL_SIZE (Standardwert 8), CONFIG_FILE (kein Standardwert; ohne dieses fallen die Worker auf die voreingestellte Konfigurationssuche zurück), FAIR_SCHEDULING (Standardwert yes), FAIR_HALF_LIFE (Standardwert 60 s) und FAIR_FIFO_PERCENT (Standardwert 10). Jede Dauer muss in (0, 168 h] liegen. Die Worker-Pools pro Stage werden durch PARALLELISM (Standardwert 4), QUEUE_LIMIT (Standardwert 4, die gleichzeitig an einen Worker übergebenen Nachrichten) und MAX_MESSAGES (Standardwert 1000) in jedem [stage-<name>]-Abschnitt dimensioniert. Siehe pepsi.conf(5) und Konfiguration.

33.4. Siehe auch

Architektur, pepsi-queue, pepsi-ingress, pepsi-dispatch(1). Sicherheit: Der Dispatcher und seine Worker laufen als Konto pepsi (Die Privilegientrennung), was ein kompromittierter Worker erhält (Ein Angreifer, der einen Stage-Worker kompromittiert) und die Scheduling- und Laufzeitgrenzen in der Verfügbarkeitstabelle (Verfügbarkeit).