95.1.54. pepsi-archive¶
search, export, purge and repair the mailing-list archive
- Handbuchabschnitt:
1
95.1.54.1.1. Name¶
pepsi-archive - das Werkzeug des Betreibers für das Mailinglisten-Archiv von Pepsi.
95.1.54.1.2. Übersicht¶
95.1.54.1.3. Beschreibung¶
pepsi-archive ist das Kommandozeilenwerkzeug des Betreibers für das Mailinglisten-Archiv. Es verbindet sich über den gemeinsamen Abschnitt [pepsi-postgres] und läuft, wenn es als root gestartet wird, als Dienstkonto pepsi weiter. Es ist nicht setuid und darf es nicht werden.
Das Archiv implementiert HyperKitty aus GNU Mailman 3 neu. Sein Datenmodell, seine Threading-Regeln, sein Message-ID-Hash und sein URL-Schema stammen von upstream (Copyright der Free Software Foundation und ihrer Mitwirkenden), damit die Archivlinks einer migrierten Installation weiter funktionieren. Das Kapitel Archive des Handbuchs sagt, wofür jeder der beiden Suchmechanismen taugt und was ein Purge löscht und was nicht.
95.1.54.1.4. Wofür es existiert¶
purge ist der Befehl, für den dieses Werkzeug existiert: Er entfernt aus einem öffentlichen Archiv eine Nachricht, die jemand versehentlich gesendet hat. Er löscht die Nachricht, ihre Anhänge und ihre Stimmen, nummeriert den Thread neu, repariert die Zähler und schreibt einen event_log-Datensatz, der nennt, wer es getan hat.
Er hinterlässt einen Grabstein: die Message-ID, aufbewahrt für [pepsi-list] TOMBSTONE_RETENTION Tage (Standard 90), während derer sich das Archiv weigert, diese Nachricht erneut zu speichern. Pepsi selbst archiviert eine gelöschte Nachricht nur auf zwei Wegen erneut, durch eine erneute Zustellung oder durch einen wiederholten Import, und beide sind Versehen. --forget lässt den Grabstein weg.
95.1.54.1.5. Befehle¶
- search ABFRAGE
Sucht als Betreiber, der jede Liste sieht.
--listbeschränkt die Suche, was sowohl schneller (eine Partition) als auch besser (das eigene Sprachwörterbuch der Liste) ist. Die Ausgabe sagt, welcher Mechanismus geantwortet hat, und sagt es, wenn die Liste Nachrichtentexte nicht für die Teilzeichenkettensuche indiziert.- show LISTE ID
Gibt eine archivierte Nachricht aus. ID kann eine
Message-ID, ein Message-ID-Hash oder eine Archiv-URL sein, die einen solchen enthält.- export
--listADRESSE Schreibt das Archiv der Liste als
mboxrd-Mbox auf die Standardausgabe, die älteste Nachricht zuerst.--sinceund--untilnehmen Zeitstempel nach RFC 3339.- purge
--listADRESSE ID [--forget] Siehe oben.
- expire
--listADRESSE (--beforeDATUM |--olderZEITSPANNE) [-y|--yes] Löscht jede archivierte Nachricht der Liste, deren Datum vor einem Stichtag liegt. Genau eine der beiden Optionen ist anzugeben:
--beforeDATUMYYYY,YYYY-MModerYYYY-MM-DDbedeutet den Beginn dieses Jahres, Monats oder Tages in UTC;--before 2024löscht also alles bis zum Ende von 2023 und behält ganz 2024. Ein vollständiger RFC-3339-Zeitstempel wird ebenfalls angenommen.--olderZEITSPANNEEine Zeitspanne wie
2 years,42 months,10 minutesoder5402 s(eine ISO-8601-Dauer wieP2Ygeht auch). Der Stichtag ist die aktuelle Zeit minus diese Spanne. Jahre und Monate werden nach dem Kalender in UTC gezählt. Weil sich die Befehlszeile nicht ändert, kann sie aus einem Timer oder einem Cron-Job laufen, etwa um eine Löschfrist des Datenschutzes einzuhalten:pepsi-archive expire --list team@lists.example.org --older '2 years' --yes.
Der Befehl zählt zuerst die Nachrichten, die gelöscht würden, und bittet um Bestätigung.
-yoder--yesüberspringt die Frage. Ist die Standardeingabe kein Terminal und fehlt--yes, wird nichts gelöscht und der Befehl endet mit einem Fehler. Ist keine Nachricht alt genug, sagt er das und endet ohne Frage erfolgreich. Jeder Lauf, der etwas löscht, wird im Audit-Log alsarchive.expirefestgehalten. Anders als bei purge hinterlassen abgelaufene Nachrichten keinen Grabstein.Maßgeblich ist das Datum, das das Archiv anzeigt; es stammt aus dem
Date:-Header der Nachricht. Die Löschung arbeitet in Stapeln, weil das Prädikat ein Datum ist, die Tabelle aber nach Liste partitioniert ist; PostgreSQL kann deshalb keine Partitionen ausschließen. Eine einzige Anweisung über ein Jahr einer belebten Liste würde eine lange Transaktion halten. Dieselbe Löschung läuft planmäßig als Aufbewahrungs-Sweep vonpepsi-list tasks --once(die Unit pepsi-list-tasks.timer), für jede Liste mit einer Aufbewahrungsfrist; sieheARCHIVE_RETENTIONunten.- reindex [
--listADRESSE] Baut
search_textundtrgm_textneu auf. So wird eine geänderte Trigramm-Stufe wirksam, in beide Richtungen und ohne Schemaänderung.- recount [
--listADRESSE] Baut die Zählerspalten aus den Datensätzen selbst neu auf. Das repariert den einen dokumentierten Weg, sie zu beschädigen: direkt in die Archivtabellen zu schreiben.
- rebuild-threads [
--listADRESSE] Hängt Antworten wieder an, deren Elternnachricht nach ihnen eintraf, und nummeriert jeden Thread neu. Upstream lässt diese Threads für immer getrennt; dies ist die Reparatur.
- import
--listADRESSE [--skip-bad] [--rejectsDATEI] [--no-rebuild] [--mboxrd] DATEI… Importiert eine oder mehrere Mbox-Dateien in eine Liste. Das ist der universelle Weg ins Archiv. Es ist auch die andere Hälfte des
export-Rundlaufs, und dieser Rundlauf ist der billigste mögliche Test beider Befehle.--mboxrdliest die>From-Quotierung von Textzeilen alsmboxrd: Jede Zeile, die aus einer Folge von>gefolgt vonFrom `` besteht, verliert ein ``>, was genau die Umkehrung vonexportist. Ohne die Option werden die Dateien alsmboxogelesen, das Format, das Mailman 2 und andere ältere Archivierer schreiben: Nur eine Zeile, die genau>Fromlautet, verliert ihr>, und>>Frombleibt, wie der Autor es geschrieben hat.--mboxrdist für einen Pepsi-Export und jede anderemboxrd-Datei zu verwenden.Die Reparaturen stecken im Leser, nicht in einem separaten Skript, an das ein Betreiber denken muss: Eine Textzeile, die mit
From `` beginnt, teilt keine Nachricht (ein Trenner muss auf eine Leerzeile folgen *und* eine vierstellige Jahreszahl tragen); eine fehlende ``Message-IDwird deterministisch aus den eigenen Bytes der Nachricht erzeugt, sodass die Wiederholung eines unterbrochenen Imports dieselbe ID statt eines Duplikats erzeugt;<abc@host> (added by postmaster@…)wird repariert; ein fehlendesDatefällt auf die Umschlagzeile der Mbox zurück; ein gefaltetesSubjectwird zusammengefügt; undContent-Lengthwird verworfen, weil es eine Rahmung beschrieb, die nicht mehr existiert, sobald die Nachricht aus der Mbox heraus ist.Threads werden am Ende automatisch wieder angehängt und neu nummeriert. Sonst lässt ein Import in falscher Reihenfolge sie getrennt. Das passiert mit dem Stapelmodus von upstream, und jahrelang bemerkt es niemand.
Eine Nachricht, die nicht importiert werden kann, wird gemeldet, an
--rejects, wenn eine Datei genannt ist, und sonst auf die Standardfehlerausgabe, und der Befehl endet mit einem Wert ungleich null, es sei denn,--skip-badsagt, dass der Verlust erwartet ist. Eine Wiederholung ist sicher: Der Import erkennt jede Nachricht an ihrerMessage-ID, sodass sich ein wiederaufgenommener Import am Inhalt statt am Zeitstempel einer Datei orientiert.
95.1.54.1.6. Konfiguration¶
[pepsi-list]
SEARCH_TRIGRAMDie serverweite Obergrenze für die Stufe der Teilzeichenkettensuche:
off,short(Standard) oderfull. Eine Liste wählt mitpepsi-list list set-extjede Stufe bis zu dieser Grenze.TOMBSTONE_RETENTIONWie lange ein Purge-Grabstein aufbewahrt wird, in Tagen (Standard 90). Der Sweep, der abgelaufene entfernt, läuft in
pepsi-list tasks --once.ARCHIVE_RETENTIONDie Archiv-Aufbewahrungsfrist der Installation in Tagen, angewandt vom Aufbewahrungs-Sweep von
pepsi-list tasks --once: Das eigenearchive_retention_dayseiner Liste (gesetzt mitpepsi-list list set-ext) gewinnt,0eingeschlossen; eine Liste ohne eines verwendet diesen Wert, dessen eigener Standard0ist; und0behält alles.ARCHIVE_PARTITIONSpepsi-setup(1) liest den Wert, um die Partitionen anzulegen, und
pepsi-list checkvergleicht ihn mit ihnen. Bei der Installation festgelegt: PostgreSQL kennt keine Neupartitionierung im laufenden Betrieb.
95.1.54.1.7. Rückgabewert¶
Ungleich null bei einem Konfigurations- oder Datenbankfehler oder wenn die genannte Nachricht nicht existiert. Ein Verb, das nichts zu tun fand, ist kein Fehler.
95.1.54.1.8. Siehe auch¶
pepsi-list(1), pepsi-stage-list-post(1), pepsi-stage-list(1), pepsi-setup(1), pepsi.conf(5).