95.1.54. pepsi-archive

search, export, purge and repair the mailing-list archive

Section du manuel:

1

95.1.54.1.1. Nom

pepsi-archive - l’outil de l’opérateur pour les archives des listes de diffusion de Pepsi.

95.1.54.1.2. Synopsis

pepsi-archive [OPTIONS-GLOBALES] search QUERY [–list ADDRESS] [–limit N]
pepsi-archive [OPTIONS-GLOBALES] show LIST MESSAGE-ID|HASH
pepsi-archive [OPTIONS-GLOBALES] export –list ADDRESS [–since TS] [–until TS]
pepsi-archive [OPTIONS-GLOBALES] purge –list ADDRESS ID [–forget]
pepsi-archive [GLOBAL-OPTIONS] expire –list ADDRESS (–before DATE | –older TIMEFRAME) [-y]
pepsi-archive [OPTIONS-GLOBALES] reindex [–list ADDRESS]
pepsi-archive [OPTIONS-GLOBALES] recount [–list ADDRESS]
pepsi-archive [OPTIONS-GLOBALES] rebuild-threads [–list ADDRESS]
pepsi-archive [OPTIONS-GLOBALES] import –list ADDRESS [–skip-bad] [–rejects FILE] [–no-rebuild] [–mboxrd] FILE…

95.1.54.1.3. Description

pepsi-archive est l’outil en ligne de commande de l’opérateur pour les archives des listes de diffusion. Il se connecte par la section partagée [pepsi-postgres] et, lorsqu’il est lancé en root, continue sous le compte de service pepsi. Il n’est pas setuid et ne doit pas le devenir.

Les archives réimplémentent HyperKitty de GNU Mailman 3. Leur modèle de données, leurs règles de fils de discussion, leur hachage de Message-ID et leur schéma d’URL sont ceux d’amont (copyright la Free Software Foundation et ses contributeurs), afin que les liens d’archives d’un site migré continuent de fonctionner. Le chapitre Archives du manuel dit à quoi chacun des deux mécanismes de recherche est bon, et ce qu’une purge supprime et ne supprime pas.

95.1.54.1.4. Celle pour laquelle il existe

purge est la commande pour laquelle cet outil existe : elle retire d’archives publiques un message que quelqu’un a envoyé par accident. Elle supprime le message, ses pièces jointes et ses votes, renumérote le fil, répare les compteurs et écrit une ligne event_log qui nomme qui l’a fait.

Elle laisse une pierre tombale : le Message-ID, conservé pendant [pepsi-list] TOMBSTONE_RETENTION jours (90 par défaut), durant lesquels les archives refusent de stocker ce message à nouveau. Pepsi lui-même n’archive de nouveau un message purgé que de deux façons, par une nouvelle remise ou par un import relancé, et les deux sont des accidents. --forget saute la pierre tombale.

95.1.54.1.5. Commandes

search QUERY

Recherche en tant qu’opérateur, qui voit toutes les listes. --list restreint la recherche, ce qui est à la fois plus rapide (une seule partition) et meilleur (le dictionnaire de langue propre à la liste). La sortie indique quel mécanisme a répondu, et le signale lorsque la liste n’indexe pas les corps de messages pour la recherche de sous-chaînes.

show LIST ID

Affiche un message archivé. ID peut être un Message-ID, un hachage de Message-ID, ou une URL d’archive qui en contient un.

export --list ADDRESS

Écrit les archives de la liste sur la sortie standard sous forme de mbox mboxrd, du plus ancien au plus récent. --since et --until prennent des horodatages RFC 3339.

purge --list ADDRESS ID [--forget]

Voir ci-dessus.

expire --list ADDRESS (--before DATE | --older TIMEFRAME) [-y|--yes]

Supprime chaque message archivé de la liste dont la date précède une limite. Donnez exactement une des deux options :

--before DATE

YYYY, YYYY-MM ou YYYY-MM-DD désigne le début de cette année, de ce mois ou de ce jour en UTC : --before 2024 supprime donc tout jusqu’à la fin de 2023 et garde toute l’année 2024. Un horodatage RFC 3339 complet est aussi accepté.

--older TIMEFRAME

Une durée comme 2 years, 42 months, 10 minutes ou 5402 s (une durée ISO 8601 comme P2Y fonctionne aussi). La limite est l’heure actuelle moins cette durée. Les années et les mois sont comptés selon le calendrier, en UTC. Comme la ligne de commande ne change pas, elle peut être lancée par un timer ou une tâche cron, par exemple pour respecter un délai d’effacement imposé par la protection des données : pepsi-archive expire --list team@lists.example.org --older '2 years' --yes.

La commande compte d’abord les messages qui seraient supprimés et demande confirmation. -y ou --yes saute la question. Quand l’entrée standard n’est pas un terminal et que --yes manque, rien n’est supprimé et la commande se termine par une erreur. Quand aucun message n’est assez ancien, elle le dit et réussit sans rien demander. Chaque exécution qui supprime quelque chose est consignée dans le journal d’audit sous archive.expire. Contrairement à purge, les messages expirés ne laissent pas de pierre tombale.

La date retenue est celle qu’affiche l’archive, tirée de l’en-tête Date: du message. La suppression procède par lots parce que le prédicat est une date alors que la table est partitionnée par liste ; PostgreSQL ne peut donc pas élaguer les partitions : une seule instruction sur un an d’une liste active maintiendrait une longue transaction. La même suppression s’exécute de façon planifiée comme balayage de rétention de pepsi-list tasks --once (l’unité pepsi-list-tasks.timer), pour chaque liste ayant une rétention ; voir ARCHIVE_RETENTION ci-dessous.

reindex [--list ADDRESS]

Reconstruit search_text et trgm_text. C’est ainsi qu’un changement de palier de trigrammes prend effet, dans les deux sens et sans changement de schéma.

recount [--list ADDRESS]

Reconstruit les colonnes de compteurs à partir des lignes elles-mêmes. Cela répare l’unique manière documentée de les casser, qui consiste à écrire directement dans les tables des archives.

rebuild-threads [--list ADDRESS]

Rattache les réponses dont le parent est arrivé après elles, et renumérote chaque fil. Amont laisse ces fils scindés à jamais ; ceci est la réparation.

import --list ADDRESS [--skip-bad] [--rejects FILE] [--no-rebuild] [--mboxrd] FILE…

Importe un ou plusieurs fichiers mbox dans une liste. C’est la voie universelle vers les archives. C’est aussi l’autre moitié de l’aller-retour avec export, et cet aller-retour est le test le moins coûteux possible des deux commandes.

--mboxrd lit la citation >From des lignes de corps comme mboxrd : toute ligne formée d’une suite de > suivie de From `` perd un ``>, ce qui est exactement l’inverse d”export. Sans elle, les fichiers sont lus comme mboxo, le format qu’écrivent Mailman 2 et d’autres archiveurs plus anciens : seule une ligne valant exactement >From perd son >, et >>From reste tel que l’auteur l’a écrit. Utilisez --mboxrd pour un export de Pepsi et pour tout autre fichier mboxrd.

Les réparations sont dans le lecteur, non dans un script séparé dont un opérateur devrait se souvenir : une ligne de corps commençant par From `` ne scinde pas un message (un séparateur doit suivre une ligne vide *et* porter une année à quatre chiffres) ; un ``Message-ID manquant est engendré de façon déterministe à partir des octets mêmes du message, de sorte que relancer un import interrompu produit le même identifiant plutôt qu’un doublon ; <abc@host> (added by postmaster@…) est réparé ; un Date manquant se rabat sur la ligne d’enveloppe mbox ; un Subject replié est joint ; et Content-Length est abandonné, parce qu’il décrivait un découpage qui n’existe plus une fois le message sorti de la mbox.

Les fils sont rattachés et renumérotés à la fin, automatiquement. Sinon, un import dans le désordre les laisse scindés. C’est ce qui arrive avec le mode par lots d’amont, et personne ne le remarque pendant des années.

Un message qui ne peut pas être importé est signalé, dans --rejects lorsqu’un fichier est nommé et sur la sortie d’erreur standard sinon, et la commande se termine avec un code non nul à moins que --skip-bad ne dise que la perte est attendue. Relancer est sans danger : l’import reconnaît chaque message à son Message-ID, de sorte qu’un import repris s’appuie sur le contenu plutôt que sur l’horodatage d’un fichier.

95.1.54.1.6. Configuration

[pepsi-list]

SEARCH_TRIGRAM

Le plafond du site pour le palier de recherche de sous-chaînes : off, short (par défaut) ou full. Une liste choisit n’importe quel palier jusqu’à ce plafond avec pepsi-list list set-ext.

TOMBSTONE_RETENTION

Durée de conservation d’une pierre tombale de purge, en jours (90 par défaut). Le balayage qui retire celles qui ont expiré s’exécute dans pepsi-list tasks --once.

ARCHIVE_RETENTION

La rétention des archives du site en jours, appliquée par le balayage de rétention de pepsi-list tasks --once : le archive_retention_days propre à une liste (réglé avec pepsi-list list set-ext) l’emporte, 0 compris ; une liste qui n’en a pas utilise cette valeur, dont la valeur par défaut est 0 ; et 0 conserve tout.

ARCHIVE_PARTITIONS

pepsi-setup(1) le lit pour créer les partitions, et pepsi-list check le compare à celles-ci. Fixé à l’installation : PostgreSQL n’a pas de repartitionnement en ligne.

95.1.54.1.7. Code de sortie

Non nul en cas d’échec de configuration ou de base de données, ou lorsque le message nommé n’existe pas. Un verbe qui n’a rien trouvé à faire n’est pas un échec.

95.1.54.1.8. Voir aussi

pepsi-list(1), pepsi-stage-list-post(1), pepsi-stage-list(1), pepsi-setup(1), pepsi.conf(5).