54. pepsi-stage-detect-language¶
Erkennt die menschliche(n) Sprache(n) eines Nachrichtentexts und hält sie im State fest.
54.1. Rolle¶
pepsi-stage-detect-language identifiziert die natürliche(n) Sprache(n) in einem Nachrichtentext und hält sie unter state.language fest, damit spätere Stages oder Vorlagen sie verwenden, und schaltet die Nachricht dann zu NEXT_STAGE weiter. Es annotiert nur den State — es verändert, verwirft, bounct oder pausiert die Nachricht nie. Referenz: pepsi-stage-detect-language(1).
54.2. Funktionen¶
Gemeinsame MIME-Textextraktion: Ein vollständiger MIME-Parser in
pepsi-commonholt aus der Nachricht den eingebetteten Nachrichtentext, der dem Leser angezeigt wird:text/plain-Teile wörtlich undtext/html-Teile auf Klartext reduziert, jeweils aus ihrer Content-Transfer-Encoding und ihrem Zeichensatz nach UTF-8 dekodiert. Bei einemmultipart/alternativewird die HTML-Alternative gelesen, da die meisten Clients sie anzeigen; die Klartext-Alternative nur, wenn das HTML keine Prosa enthält. HTML wird ohne<head>,<style>,<script>,<template>, Kommentare und die Elemente gerendert, die ein Inline-styleoder dashidden-Attribut verbirgt (Stylesheet-Klassen werden nicht ausgewertet); unsichtbare und Formatzeichen werden entfernt; und Doppelgänger-Buchstaben einer anderen Schrift innerhalb eines lateinischen Wortes werden mit den Confusables-Daten von UTS #39 zurückgefaltet, sodass ein Absender dem Leser nicht eine Sprache und dem Klassifikator eine andere zeigen kann (Vor Spamfiltern verborgene Inhalte (HTML/CSS, unsichtbare Zeichen, fehlerhafte QR-Codes)).Prosafilterung: Der extrahierte Text wird auf das reduziert, was ein Mensch in Worten geschrieben hat, bevor überhaupt klassifiziert wird. Tokens, die keine Wörter sein können (URLs, Adressen, Base64-Schlüssel, Bezeichner, alles mit einer Ziffer oder einem innenliegenden Punkt), werden verworfen, danach Zeilen mit zu wenigen Buchstaben für einen Satz. Das ist nicht bloße Ordnungsliebe: Sonst wird ein Nachrichtentext, der überwiegend Maschinentext ist, anhand dieses Maschinentexts klassifiziert, und ein Dump von DNS-Einträgen oder ein Nachrichtentext aus zwei nackten URLs erhält ein zuversichtliches Urteil für eine Sprache, in der niemand darin geschrieben hat. Die Regeln überspringen die Längen-, Ziffern-, Punkt- und Großschreibungstests für Schriften, die Wörter nicht durch Leerzeichen trennen (Han, Kana, Hangul, Thai, …); diese Tests würden sonst eine chinesische oder thailändische Nachricht vollständig löschen.
Überspringt, was es nicht lesen kann: Anhänge (einschließlich Text-Anhänge) und verschlüsselte oder undurchsichtige Nachrichtentexte (
multipart/encrypted,application/pkcs7-mime, …) tragen keinen lesbaren Text. Eine solche Nachricht schaltet unverändert weiter, ohne dass einlanguage-Schlüssel hinzugefügt wird, und ebenso eine Nachricht, deren Nachrichtentext keine Prosa enthält oder zu wenig Prosa zum Klassifizieren. Ein Nachrichtentext, der nur aus URLs besteht, hat keine Sprache, und keine festzuhalten ist die ehrliche Antwort.Statistische Erkennung: Die verbliebene Prosa wird mit dem lingua-Detektor klassifiziert, gebaut aus den Kandidatensprachen der
LANGUAGES-Option. Der Detektor erhält nur die ersten 20 000 Zeichen Prosa, da die ersten paar Kilobyte über die Sprache entscheiden. Die Stage behält die wahrscheinlichsten Sprachen, deren Wahrscheinlichkeit mindestens 5 % beträgt, höchstens drei davon.Accept-Language-Ausgabe: Das Ergebnis wird als Zeichenkette im HTTP-
Accept-Language-Stil gespeichert, z. B.en;q=0.55, de;q=0.45, wobei jedesqdie Erkennungswahrscheinlichkeit dieser Sprache ist (die Wahrscheinlichkeiten über alle Kandidaten summieren sich zu 1).Einmal pro Worker gebaut, mit voller Genauigkeit: Der Detektor ist teuer zu konstruieren, daher baut ihn jeder Worker-Prozess ein einziges Mal (je Kandidatensprachensatz) und verwendet ihn für jede Nachricht wieder. Der Modus geringer Genauigkeit von
linguawird bewusst nicht genutzt: Er bricht bei einem einzigen N-Gramm ab, das nur ein Kandidat besitzt, sodass eine einzige Adresse oder ein einziger Schlüssel das Urteil für einen ganzen Nachrichtentext entscheiden kann, und er lädt zusätzliche N-Gramm-Zählmodelle vorab, sodass er keinen Vorteil bringt.
54.3. Konfiguration¶
[stage-<name>]: PROGRAM = pepsi-stage-detect-language, NEXT_STAGE (erforderlich) und LANGUAGES (optional). LANGUAGES nennt mindestens zwei verschiedene ISO-639-1-Codes, getrennt durch Leerraum oder Kommas, und ist standardmäßig eine breite gängige Menge; schränken Sie sie auf die erwarteten Sprachen ein, da jede aktivierte Sprache Worker-Speicher kostet. Das einzelne Token * steht für jede Sprache, die der Detektor unterstützt. Siehe pepsi-stage-detect-language(1).
54.4. Platzierung und Grenzen¶
Die Stage liest Klartext, gehört also auf einem entschlüsselnden Zweig hinter pepsi-stage-decrypt und vor pepsi-stage-reencrypt; pepsi-setup warnt, wenn die Neuverschlüsselung vor ihr steht, da sie dann nur Chiffrat sähe (Client-Verwahrung (custody = client, der MUA-Schlüssel)). Die Grenze von 20 000 Zeichen für das, was klassifiziert wird, ist eine der Parsing-Grenzen in Verfügbarkeit, und eine Nachricht, deren Inhalt den Klassifikator in Panik versetzt, schaltet ohne Sprache weiter, statt wiederholt zu werden.
54.5. State¶
Eingaben: keine aus
state; die Stage liest den gespeicherten Nachrichtentext.Ausgaben: Wenn eine Sprache erkannt wird, wird die
Accept-Language-artige Zeichenkette unterlanguageinstatezusammengeführt; andernfalls bleibtstateunberührt.
54.6. Siehe auch¶
pepsi-detect-language (das Offline-Diagnose- und Tuning-Werkzeug: dieselbe ausführbare Datei unter einem zweiten Namen, die meldet, was diese Stage für eine aus einer Datei gelesene Nachricht festhalten würde), pepsi-stage-check-whitelist, pepsi-stage-anti-spam, Unterstützte Funktionen, pepsi-stage-detect-language(1).