33. pepsi-dispatch¶
Der einzige langlebige Koordinator, der Nachrichten durch die Stages treibt.
33.1. Rolle¶
pepsi-dispatch ist der einzige Prozess, der Stage-Programme startet. Betreiben Sie genau einen pro System, als pepsi-dispatch serve (das einzige Unterkommando; die globalen Schalter -c/-L/-v stehen davor). Er beansprucht neu eingereihte Datensätze und reicht jeden an einen untätigen Worker-Prozess der Stage des Datensatzes weiter, reiht pausierte Nachrichten erneut ein, wenn ihre Wiederholungszeit fällig ist, und erholt sich von Abstürzen und Timeouts. Er verarbeitet selbst keine Nachrichteninhalte. Als root gestartet, wechselt er auf das Dienstkonto pepsi, das die Worker erben. Referenz: pepsi-dispatch(1).
33.2. Funktionen¶
Ereignisgesteuertes, gestapeltes Beanspruchen. Lauscht mit
LISTENauf den Kanälenworkqueue,config_changed,telemetry_changedundpepsi_list_changed, mit einem periodischenPOLL_INTERVAL-Heartbeat. Bei jedem Aufwachen arbeitet er seine ausstehenden internen Ereignisse ab (sodass die Kapazitäten pro Stage aktuell sind) und beansprucht dann Arbeit für jede Stage mit freier Kapazität in einemUPDATE … RETURNING— jede Stage bis zu ihrer eigenen verbleibenden Kapazität (einLATERAL … ORDER BY workqueue_id LIMIT cappro Stage, das über den partiellenpending-Index bei der Obergrenze stoppt). Da genau ein Dispatcher seriell und als einzigerpending``→``running-Schreiber beansprucht, benötigt das Beanspruchen keinFOR UPDATE SKIP LOCKED.Faire Verteilung über Absender. Standardmäßig (
FAIR_SCHEDULING) teilt das Beanspruchen die Worker-Zeit jeder Stage in der Art des Linux-Schedulers CFS/EEVDF unter Absendern auf, sodass der Schwall eines Absenders nicht alle hinter ihm Eingereihten verzögert. Als Absender gilt das authentifizierte Konto, sonst die verbindende Adresse (eine IPv6-Adresse nach ihrem /64), sonst die Umschlag-Domain einer lokal erzeugten Nachricht.FAIR_FIFO_PERCENTder Plätze bleiben nach Alter geordnet, was begrenzt, wie lange eine Nachricht warten kann. Die Buchführung wird nur im Speicher gehalten.Persistente Worker mit Pipelining. Jede Stage führt
PROGRAM worker(aufPATHgesucht, sofern nicht absolut) als langlebige Prozesse aus, die sich einmal mit der Datenbank verbinden, Nachrichten-IDs von der Standardeingabe lesen und pro Nachricht der Reihe nach mit einem einzeiligen Status (0bei Erfolg) antworten. Einem Worker werden bis zuQUEUE_LIMITIDs auf einmal übergeben (in einem einzigen Puffer auf seine stdin geschrieben); er verarbeitet sie streng seriell, aber die nächste ID steht bereits an, was einen Round-Trip zum Koordinator pro Nachricht spart. Die Kapazität einer Stage an Nachrichten in Bearbeitung beträgt daherQUEUE_LIMIT × PARALLELISM, und weil die Anzahl der Worker unverändert bleibt, kostet das keine zusätzlichen Datenbankverbindungen.Elastische Pools pro Stage. Worker werden bei Bedarf bis zum
PARALLELISMeiner Stage gestartet; die Arbeit wird auf möglichst wenige Worker gepackt, und überschüssige Worker werden nachWORKER_IDLE_TIMEOUTgestoppt — sodass eine ruhige Stage gegen null Worker schrumpft und eine ausgelastete bis zu ihrer Obergrenze wächst. NachMAX_MESSAGESerneuert ein Worker seinen Kindprozess (sobald dessen Pipeline geleert ist); eine Stage, derenPROGRAMnicht starten kann, wird mit einer kurzen Abkühlung zurückgehalten, statt ununterbrochen neu gestartet zu werden.Das Weiterschalten ist der Schreibvorgang der Stage. Eine Stage, die eine Nachricht weiterschaltet, setzt den Datensatz selbst auf
pendingbei der nächsten Stage, in derselben Aktualisierung, diestageverschiebt; der Dispatcher schreibt einen Datensatz bei Erfolg nie um. Meldet der Worker seinen Status, geht der Koordinator zu seiner nächsten Beanspruchung über, die den Datensatz für den Pool der nächsten Stage aufgreift (ein Weiterschalten braucht daher keine Benachrichtigung). Ein Worker kann auch einen schnellen Nachfolger in denselben Durchlauf fusionieren (siehe pepsi-dispatch(1), Stage-Fusion).Einplanung von Wiederholungen. Schläft bis zum
timeoutdes frühestenpaused-Datensatzes (oder bis zum fälligen Einsammeln eines Workers, einer Start-Abkühlung oder dem Heartbeat), kippt dann fällige Datensätze zurück aufpendingund scannt erneut.Wiederherstellung nach Absturz und Watchdog. Ein Worker meldet einen Status ungleich null nur für einen Fehler, den seine Stage als permanent markiert hat (oder nachdem er die Wiederholungen aufgegeben hat); diese eine Nachricht wird
failed, und der Worker überlebt. Ein abgestürztes Kind oder eine laufende Nachricht, die innerhalb vonMAX_RUNTIMEunbeantwortet bleibt (je Nachricht gemessen, ab dem Zeitpunkt, an dem sie den Kopf der Warteschlange des Workers oder dienext-Zeile des Workers erreicht hat), gibt dieser Nachricht einen Strike: Sie wird pausiert und nach einer Minute, dann nach zwei wiederholt, und erst der dritte Strike setzt sie auffailed(Absturz) odertimeout(Hänger), mitstate.failure_classcrashedodertimed-out. Die anderen gepipelineten Nachrichten des Workers werden wieder aufpendingeingereiht statt verloren. Ein Kind, das stirbt, bevor esreadyausgibt, oder mit78endet (Konfiguration oder Schema abgelehnt), beschuldigt nichts: Seine Nachrichten gehen zurück aufpending, und die Stage wird für eine kurze Abkühlzeit zurückgehalten. Gründe werden unter einerstatus = 'running'-Bedingung geschrieben, sodass sie nie einen Datensatz überschreiben, den eine Stage bereits weitergeschaltet hat.Stage-Fehler werden wiederholt. Ein Fehler, den eine Stage nicht als permanent markiert, wird als Fehler des Hosts behandelt: Der Worker pausiert die Nachricht (
state.last_error,state.temporary_failures; Backoff von einer Minute, verdoppelt bis zu einer Stunde) und meldet Erfolg; nach demMAX_LIFETIMEder Stage leitet er sie zuBOUNCE_STAGEum oder lässt sie fehlschlagen (failure_class = retries-exhausted).Datenbankprobleme sind nicht die Schuld der Nachricht. Ein Worker, der seine Datenbankverbindung verliert, meldet Status
74; der Dispatcher pausiert die Nachricht für 30 s und wiederholt sie, solange die Datenbank fernbleibt. Ein Worker, der die Datenbank ohne freie Verbindungen vorfindet, meldet75; die Nachricht wird wieder eingereiht, und die Stage mit den meisten Workern bekommt ihre Parallelität für fünf Minuten halbiert.Genau ein Dispatcher. Ein sitzungsbezogener Advisory-Lock von PostgreSQL lässt einen zweiten Dispatcher den Start verweigern (nachdem er etwa zehn Sekunden auf einen Vorgänger gewartet hat, der sich noch beendet): Zwei würden einander die Datensätze entziehen und doppelt zustellen, bouncen oder Zahlungen abwickeln.
Sicherheit bei Start und Herunterfahren. Setzt verwaiste
running-Datensätze (von einem vorherigen Dispatcher) beim Start aufpendingzurück; beiSIGINT/SIGTERMstoppt er die Worker und setzt deren Datensätze (sowie alle beanspruchten, aber nicht zugewiesenen) zurück.Isolation. Höchstens ein Schreiber berührt je einen gegebenen Datensatz der Warteschlange, sodass der gemeinsame Pool mit
READ COMMITTEDläuft; Warteschlangenoperationen sind dennoch in einen Wiederholungshelfer gehüllt, der einen vorübergehenden40001/40P01-Fehler als günstige Versicherung erneut ausführt.Konfigurationsweitergabe. Übergibt
CONFIG_FILEüber-c(vor dem Unterkommandoworker) an die Worker, sodass sie dieselbe Konfiguration laden.Neuladen der Pipeline im laufenden Betrieb. Auf eine
config_changed-Benachrichtigung hin baut er seine eigene Stage-Tabelle aus der Datenbank-Überlagerung neu auf und mustert jeden Worker aus — untätige sofort, beschäftigte, sobald ihre aktuelle Nachricht zurückgemeldet ist —, sodass eine[stage-*]-Änderung ohne Neustart wirksam wird. Ein neu geladener Graph, der sich nicht parsen lässt, beendet den Prozess (Exit78; die Unit startet mit Backoff neu), statt nach einer Pipeline zu routen, die die Worker nicht mehr teilen; eine Überlagerung, die sich nicht lesen lässt, behält den aktuellen Graphen und versucht es erneut. Seine eigenen[pepsi-dispatch]-Optionen werden nicht neu geladen. Einetelemetry_changed-Benachrichtigung mustert die Worker ebenfalls aus, damit ihre Telemetrie-Senken der Änderung folgen, und einepepsi_list_changed-Benachrichtigung (eine Mailingliste oder Listendomain wurde hinzugefügt, umbenannt oder entfernt) mustert sie aus, damit der Router seine Routentabelle neu lädt.Neuladen der Konfigurationsdatei. Alle zwei Sekunden vergleicht er Änderungszeit und Größe der Datei, mit der er gestartet wurde (und von
CONFIG_FILE, wenn dieses eine andere nennt), mit dem, was er zuletzt gelesen hat; eine geänderte Datei wird neu gelesen und wie eineconfig_changed-Benachrichtigung behandelt, sodass eine Bearbeitung vonpepsi.confjede Stage ohne Neustart erreicht. Eine Datei, die sich nicht parsen lässt, wird nicht angewendet: Der Fehler wird protokolliert und die laufende Konfiguration behalten.Statistiken. Sammelt Durchsatz, Kills/Timeouts, Abstürze und Verarbeitungszeit pro Stage sowie die globalen Stage-/Nachrichten-Gesamtwerte im Speicher und schreibt die Deltas in einer einzigen Transaktion in die Tabellen
stage_stats/dispatch_stats: alleSTATS_INTERVAL, immer wenn die Pipeline in den Leerlauf geht (höchstens einmal pro Sekunde, damit die Zahlen eines beendeten Ansturms nicht auf den nächsten Takt warten müssen) und beim Herunterfahren; ohne Deltas wird nichts geschrieben. Er ist der einzige Schreiber dieser Tabellen. Die Zahlen von Stages, die in den Worker-Durchlauf einer anderen Stage fusioniert wurden, kommen auf der Statuszeile dieses Durchlaufs zurück, statt vom Worker geschrieben zu werden, sodass die Worker einer Stage nicht um deren einzigen Datensatz konkurrieren. Diese werden über/metricsvon pepsi-httpd exportiert.
33.3. Konfiguration¶
[pepsi-dispatch]: MAX_RUNTIME (Standardwert 300 s), WORKER_IDLE_TIMEOUT (Standardwert 5 s), POLL_INTERVAL (Standardwert 30 s), STATS_INTERVAL (Standardwert 60 s), DB_POOL_SIZE (Standardwert 8), CONFIG_FILE (kein Standardwert; ohne dieses fallen die Worker auf die voreingestellte Konfigurationssuche zurück), FAIR_SCHEDULING (Standardwert yes), FAIR_HALF_LIFE (Standardwert 60 s) und FAIR_FIFO_PERCENT (Standardwert 10). Jede Dauer muss in (0, 168 h] liegen. Die Worker-Pools pro Stage werden durch PARALLELISM (Standardwert 4), QUEUE_LIMIT (Standardwert 4, die gleichzeitig an einen Worker übergebenen Nachrichten) und MAX_MESSAGES (Standardwert 1000) in jedem [stage-<name>]-Abschnitt dimensioniert. Siehe pepsi.conf(5) und Konfiguration.
33.4. Siehe auch¶
Architektur, pepsi-queue, pepsi-ingress, pepsi-dispatch(1). Sicherheit: Der Dispatcher und seine Worker laufen als Konto pepsi (Die Privilegientrennung), was ein kompromittierter Worker erhält (Ein Angreifer, der einen Stage-Worker kompromittiert) und die Scheduling- und Laufzeitgrenzen in der Verfügbarkeitstabelle (Verfügbarkeit).