55. pepsi-detect-language

Classifier un message comme le ferait le pipeline — hors ligne, pour le diagnostic et l’ajustement.

55.1. Rôle

pepsi-detect-language est un outil de diagnostic et d’ajustement, pas une étape. Il lit un unique message depuis un fichier ou l’entrée standard, y exécute la classification propre de pepsi-stage-detect-language, et écrit la valeur state.language résultante, et rien d’autre, sur la sortie standard.

Il n’ouvre jamais la base de données et n’a besoin d’aucune ligne pepsi.workqueue, de sorte qu’un message mal classifié en production peut être examiné sur une copie sauvegardée, sur n’importe quel hôte, aussi souvent que vous le souhaitez. Référence : pepsi-detect-language(1).

C’est le même exécutable que pepsi-stage-detect-language, installé sous un second nom. Les deux partagent tout le chemin de classification : ce que rapporte l’outil est donc ce qu’a fait le pipeline, et non le résultat d’une réimplémentation susceptible de dériver. Ils partagent aussi les modèles de langue liés statiquement, raison pour laquelle les deux noms sont livrés dans le même paquet (distinct).

55.2. Diagnostiquer une erreur de classification

--explain écrit chaque étape intermédiaire sur la sortie d’erreur standard, laissant la sortie standard intacte

pepsi-detect-language --explain message.eml >/dev/null

Il montre comment l’entrée a été encadrée, quelles langues candidates étaient en jeu et d’où venait cet ensemble, le texte de corps extrait, la prose restant après filtrage, et la confiance de chaque candidate, avec les règles des trois premières et des 5 % appliquées. La prose filtrée est le bloc de loin le plus utile, puisque c’est elle, et non le texte extrait, qui a été donnée au détecteur.

55.3. Pourquoi il y a deux blocs de texte

L’étape ne classifie pas le corps tel qu’il a été extrait. Elle retire d’abord tout ce qui ne peut pas être un mot : URL, adresses e-mail, clés base64, enregistrements DNS, identifiants. Ce n’est pas un simple souci de propreté : si ces jetons restent en place, ils décident de la réponse, et un e-mail de notification, un vidage d’enregistrements DNS ou un corps de spam fait de deux URL nues est classifié, d’après son texte machine, dans une langue que personne n’y a écrite.

L’étape exécute lingua en mode pleine précision. Son mode basse précision cherche un n-gramme propre à une seule langue candidate avant d’évaluer quoi que ce soit et renvoie cette langue avec la probabilité 1 si exactement une correspond. Un seul non-mot, comme une adresse dans une ligne d’attribution citée, une clé base64 ou une adresse IPv6, déciderait alors de tout le message, avec une confiance totale et sans que le reste du corps soit examiné.

Aussi, lorsqu’une classification paraît fausse, lisez le second bloc. Si la prose qui s’y trouve est le message qu’un humain lirait et que la réponse reste fausse, l’ensemble de candidates est la chose suivante à essayer (ci-dessous). Si le second bloc dit qu’il n’y a pas de prose, c’est que le corps n’en contenait véritablement pas (comme chez un expéditeur de masse dont le message se réduit à deux URL nues), et « aucune langue » est la bonne réponse.

55.4. Ajuster LANGUAGES

La cause habituelle d’une réponse fausse et assurée est l’ensemble de candidates : une langue que le trafic ne contient jamais concourt tout de même pour la probabilité, et c’est sur les textes courts qu’elle l’emporte. --languages redéfinit l’ensemble configuré (et saute entièrement la lecture de la configuration), de sorte qu’un ensemble peut être essayé avant d’être configuré

pepsi-detect-language --languages "en de" message.eml

* sélectionne toutes les langues prises en charge, exactement comme dans l’option. L’assistant de pepsi-setup configure cet ensemble à moins que l’opérateur ne le restreigne ; c’est donc à lui qu’il faut se comparer lorsqu’une classification en production paraît fausse

pepsi-detect-language --languages '*' message.eml

Sans --languages, l’ensemble de candidats provient de la configuration : l’unique section [stage-*] exécutant pepsi-stage-detect-language. Lorsqu’une configuration en compte plusieurs, nommez celle à utiliser avec --stage NAME ; lorsqu’elle n’en compte aucune, l’ensemble par défaut intégré à l’étape est utilisé et un avertissement le signale.

Sur un corpus

for m in ~/Maildir/cur/*; do
    printf '%s\t%s\n' "$(pepsi-detect-language --languages "en de" "$m")" "$m"
done | sort | uniq -c

55.5. Entrée

  • mbox, RFC 5322 ou un corps nu : les trois sont acceptés, et l’outil détecte lequel il reçoit. Une ligne de séparation mbox From_ en tête est retirée (et l’échappement mboxrd >From est annulé) ; un corps nu est enveloppé dans un Content-Type minimal. Un bloc d’en-têtes n’est reconnu que lorsque chaque ligne avant la première ligne vide est un champ ou une continuation repliée, de sorte qu’un corps commençant par Re: the meeting ne soit pas pris pour tel ; --body-only force cette lecture.

  • Les en-têtes sont conservés, et jamais classifiés. Le texte des en-têtes n’atteint pas le détecteur, puisque l’étape n’extrait que les parties de corps en ligne. Content-Type, charset et Content-Transfer-Encoding décident cependant de ce qu”est le corps. Les jeter classifierait un message quoted-printable, base64 ou HTML d’après son encodage plutôt que d’après sa prose, ce qui est l’un des échecs que l’outil sert à trouver.

  • Ce qui est affiché est ce qui est lu. Pour un multipart/alternative, la partie HTML est ce que la plupart des clients affichent ; c’est donc elle qui est classée, sans les éléments qu’un style en ligne ou l’attribut hidden masque, sans caractères invisibles, et avec les lettres sosies à l’intérieur d’un mot latin ramenées à leur forme latine. Lorsqu’elle ne contient aucune prose, seulement des images et des liens, c’est la partie sœur text/plain qui est utilisée, et --explain le signale.

  • Les fins de ligne sont normalisées en CRLF comme le fait pepsi-ingress, de sorte qu’un message lu depuis un fichier se classifie exactement comme l’a fait la copie mise en file.

55.6. Sortie

Une ligne : la chaîne de style Accept-Language, par exemple en;q=0.55, de;q=0.45. Lorsque l’étape ne noterait aucune langue (pas de texte en ligne, pas de prose dedans, trop peu de prose, ou rien au-dessus du seuil de confiance), la sortie standard est vide et la raison va sur la sortie d’erreur standard. C’est le comportement propre de l’étape, pas une erreur.

55.7. Voir aussi

pepsi-stage-detect-language, pepsi-stage-block-language, pepsi-detect-language(1), pepsi.state(7).