95.1.54. pepsi-archive

search, export, purge and repair the mailing-list archive

Handbuchabschnitt:

1

95.1.54.1.1. Name

pepsi-archive - das Werkzeug des Betreibers für das Mailinglisten-Archiv von Pepsi.

95.1.54.1.2. Übersicht

pepsi-archive [GLOBALE-OPTIONEN] search ABFRAGE [–list ADRESSE] [–limit N]
pepsi-archive [GLOBALE-OPTIONEN] show LISTE MESSAGE-ID|HASH
pepsi-archive [GLOBALE-OPTIONEN] export –list ADRESSE [–since TS] [–until TS]
pepsi-archive [GLOBALE-OPTIONEN] purge –list ADRESSE ID [–forget]
pepsi-archive [GLOBALE-OPTIONEN] expire –list ADRESSE (–before DATUM | –older ZEITSPANNE) [-y]
pepsi-archive [GLOBALE-OPTIONEN] reindex [–list ADRESSE]
pepsi-archive [GLOBALE-OPTIONEN] recount [–list ADRESSE]
pepsi-archive [GLOBALE-OPTIONEN] rebuild-threads [–list ADRESSE]
pepsi-archive [GLOBALE-OPTIONEN] import –list ADRESSE [–skip-bad] [–rejects DATEI] [–no-rebuild] [–mboxrd] DATEI…

95.1.54.1.3. Beschreibung

pepsi-archive ist das Kommandozeilenwerkzeug des Betreibers für das Mailinglisten-Archiv. Es verbindet sich über den gemeinsamen Abschnitt [pepsi-postgres] und läuft, wenn es als root gestartet wird, als Dienstkonto pepsi weiter. Es ist nicht setuid und darf es nicht werden.

Das Archiv implementiert HyperKitty aus GNU Mailman 3 neu. Sein Datenmodell, seine Threading-Regeln, sein Message-ID-Hash und sein URL-Schema stammen von upstream (Copyright der Free Software Foundation und ihrer Mitwirkenden), damit die Archivlinks einer migrierten Installation weiter funktionieren. Das Kapitel Archive des Handbuchs sagt, wofür jeder der beiden Suchmechanismen taugt und was ein Purge löscht und was nicht.

95.1.54.1.4. Wofür es existiert

purge ist der Befehl, für den dieses Werkzeug existiert: Er entfernt aus einem öffentlichen Archiv eine Nachricht, die jemand versehentlich gesendet hat. Er löscht die Nachricht, ihre Anhänge und ihre Stimmen, nummeriert den Thread neu, repariert die Zähler und schreibt einen event_log-Datensatz, der nennt, wer es getan hat.

Er hinterlässt einen Grabstein: die Message-ID, aufbewahrt für [pepsi-list] TOMBSTONE_RETENTION Tage (Standard 90), während derer sich das Archiv weigert, diese Nachricht erneut zu speichern. Pepsi selbst archiviert eine gelöschte Nachricht nur auf zwei Wegen erneut, durch eine erneute Zustellung oder durch einen wiederholten Import, und beide sind Versehen. --forget lässt den Grabstein weg.

95.1.54.1.5. Befehle

search ABFRAGE

Sucht als Betreiber, der jede Liste sieht. --list beschränkt die Suche, was sowohl schneller (eine Partition) als auch besser (das eigene Sprachwörterbuch der Liste) ist. Die Ausgabe sagt, welcher Mechanismus geantwortet hat, und sagt es, wenn die Liste Nachrichtentexte nicht für die Teilzeichenkettensuche indiziert.

show LISTE ID

Gibt eine archivierte Nachricht aus. ID kann eine Message-ID, ein Message-ID-Hash oder eine Archiv-URL sein, die einen solchen enthält.

export --list ADRESSE

Schreibt das Archiv der Liste als mboxrd-Mbox auf die Standardausgabe, die älteste Nachricht zuerst. --since und --until nehmen Zeitstempel nach RFC 3339.

purge --list ADRESSE ID [--forget]

Siehe oben.

expire --list ADRESSE (--before DATUM | --older ZEITSPANNE) [-y|--yes]

Löscht jede archivierte Nachricht der Liste, deren Datum vor einem Stichtag liegt. Genau eine der beiden Optionen ist anzugeben:

--before DATUM

YYYY, YYYY-MM oder YYYY-MM-DD bedeutet den Beginn dieses Jahres, Monats oder Tages in UTC; --before 2024 löscht also alles bis zum Ende von 2023 und behält ganz 2024. Ein vollständiger RFC-3339-Zeitstempel wird ebenfalls angenommen.

--older ZEITSPANNE

Eine Zeitspanne wie 2 years, 42 months, 10 minutes oder 5402 s (eine ISO-8601-Dauer wie P2Y geht auch). Der Stichtag ist die aktuelle Zeit minus diese Spanne. Jahre und Monate werden nach dem Kalender in UTC gezählt. Weil sich die Befehlszeile nicht ändert, kann sie aus einem Timer oder einem Cron-Job laufen, etwa um eine Löschfrist des Datenschutzes einzuhalten: pepsi-archive expire --list team@lists.example.org --older '2 years' --yes.

Der Befehl zählt zuerst die Nachrichten, die gelöscht würden, und bittet um Bestätigung. -y oder --yes überspringt die Frage. Ist die Standardeingabe kein Terminal und fehlt --yes, wird nichts gelöscht und der Befehl endet mit einem Fehler. Ist keine Nachricht alt genug, sagt er das und endet ohne Frage erfolgreich. Jeder Lauf, der etwas löscht, wird im Audit-Log als archive.expire festgehalten. Anders als bei purge hinterlassen abgelaufene Nachrichten keinen Grabstein.

Maßgeblich ist das Datum, das das Archiv anzeigt; es stammt aus dem Date:-Header der Nachricht. Die Löschung arbeitet in Stapeln, weil das Prädikat ein Datum ist, die Tabelle aber nach Liste partitioniert ist; PostgreSQL kann deshalb keine Partitionen ausschließen. Eine einzige Anweisung über ein Jahr einer belebten Liste würde eine lange Transaktion halten. Dieselbe Löschung läuft planmäßig als Aufbewahrungs-Sweep von pepsi-list tasks --once (die Unit pepsi-list-tasks.timer), für jede Liste mit einer Aufbewahrungsfrist; siehe ARCHIVE_RETENTION unten.

reindex [--list ADRESSE]

Baut search_text und trgm_text neu auf. So wird eine geänderte Trigramm-Stufe wirksam, in beide Richtungen und ohne Schemaänderung.

recount [--list ADRESSE]

Baut die Zählerspalten aus den Datensätzen selbst neu auf. Das repariert den einen dokumentierten Weg, sie zu beschädigen: direkt in die Archivtabellen zu schreiben.

rebuild-threads [--list ADRESSE]

Hängt Antworten wieder an, deren Elternnachricht nach ihnen eintraf, und nummeriert jeden Thread neu. Upstream lässt diese Threads für immer getrennt; dies ist die Reparatur.

import --list ADRESSE [--skip-bad] [--rejects DATEI] [--no-rebuild] [--mboxrd] DATEI…

Importiert eine oder mehrere Mbox-Dateien in eine Liste. Das ist der universelle Weg ins Archiv. Es ist auch die andere Hälfte des export-Rundlaufs, und dieser Rundlauf ist der billigste mögliche Test beider Befehle.

--mboxrd liest die >From-Quotierung von Textzeilen als mboxrd: Jede Zeile, die aus einer Folge von > gefolgt von From `` besteht, verliert ein ``>, was genau die Umkehrung von export ist. Ohne die Option werden die Dateien als mboxo gelesen, das Format, das Mailman 2 und andere ältere Archivierer schreiben: Nur eine Zeile, die genau >From lautet, verliert ihr >, und >>From bleibt, wie der Autor es geschrieben hat. --mboxrd ist für einen Pepsi-Export und jede andere mboxrd-Datei zu verwenden.

Die Reparaturen stecken im Leser, nicht in einem separaten Skript, an das ein Betreiber denken muss: Eine Textzeile, die mit From `` beginnt, teilt keine Nachricht (ein Trenner muss auf eine Leerzeile folgen *und* eine vierstellige Jahreszahl tragen); eine fehlende ``Message-ID wird deterministisch aus den eigenen Bytes der Nachricht erzeugt, sodass die Wiederholung eines unterbrochenen Imports dieselbe ID statt eines Duplikats erzeugt; <abc@host> (added by postmaster@…) wird repariert; ein fehlendes Date fällt auf die Umschlagzeile der Mbox zurück; ein gefaltetes Subject wird zusammengefügt; und Content-Length wird verworfen, weil es eine Rahmung beschrieb, die nicht mehr existiert, sobald die Nachricht aus der Mbox heraus ist.

Threads werden am Ende automatisch wieder angehängt und neu nummeriert. Sonst lässt ein Import in falscher Reihenfolge sie getrennt. Das passiert mit dem Stapelmodus von upstream, und jahrelang bemerkt es niemand.

Eine Nachricht, die nicht importiert werden kann, wird gemeldet, an --rejects, wenn eine Datei genannt ist, und sonst auf die Standardfehlerausgabe, und der Befehl endet mit einem Wert ungleich null, es sei denn, --skip-bad sagt, dass der Verlust erwartet ist. Eine Wiederholung ist sicher: Der Import erkennt jede Nachricht an ihrer Message-ID, sodass sich ein wiederaufgenommener Import am Inhalt statt am Zeitstempel einer Datei orientiert.

95.1.54.1.6. Konfiguration

[pepsi-list]

SEARCH_TRIGRAM

Die serverweite Obergrenze für die Stufe der Teilzeichenkettensuche: off, short (Standard) oder full. Eine Liste wählt mit pepsi-list list set-ext jede Stufe bis zu dieser Grenze.

TOMBSTONE_RETENTION

Wie lange ein Purge-Grabstein aufbewahrt wird, in Tagen (Standard 90). Der Sweep, der abgelaufene entfernt, läuft in pepsi-list tasks --once.

ARCHIVE_RETENTION

Die Archiv-Aufbewahrungsfrist der Installation in Tagen, angewandt vom Aufbewahrungs-Sweep von pepsi-list tasks --once: Das eigene archive_retention_days einer Liste (gesetzt mit pepsi-list list set-ext) gewinnt, 0 eingeschlossen; eine Liste ohne eines verwendet diesen Wert, dessen eigener Standard 0 ist; und 0 behält alles.

ARCHIVE_PARTITIONS

pepsi-setup(1) liest den Wert, um die Partitionen anzulegen, und pepsi-list check vergleicht ihn mit ihnen. Bei der Installation festgelegt: PostgreSQL kennt keine Neupartitionierung im laufenden Betrieb.

95.1.54.1.7. Rückgabewert

Ungleich null bei einem Konfigurations- oder Datenbankfehler oder wenn die genannte Nachricht nicht existiert. Ein Verb, das nichts zu tun fand, ist kein Fehler.

95.1.54.1.8. Siehe auch

pepsi-list(1), pepsi-stage-list-post(1), pepsi-stage-list(1), pepsi-setup(1), pepsi.conf(5).