95.1.29. pepsi-stage-detect-language¶
detect the human language of a message body
- Handbuchabschnitt:
1
95.1.29.1.1. Name¶
pepsi-stage-detect-language - die Spracherkennungs-Stage der Pepsi-Pipeline.
95.1.29.1.2. Übersicht¶
pepsi-stage-detect-language [GLOBAL-OPTIONS] worker
95.1.29.1.3. Beschreibung¶
pepsi-stage-detect-language ist ein Stage-Programm, das von pepsi-dispatch(1) als persistenter Worker ausgeführt wird, der Nachrichten-IDs von der Standardeingabe liest. Es lädt den pepsi.workqueue-Datensatz der Nachricht (und weigert sich zu handeln, sofern sein status nicht running ist), liest seinen [stage-<stage>]-Abschnitt, erkennt die im Nachrichtentext verwendete(n) menschliche(n) Sprache(n) und hält sie unter state.language fest, bevor es die Nachricht zu NEXT_STAGE weiterschaltet. Diese Stage verwirft, bounct oder pausiert eine Nachricht nie und bewahrt den Rest von state.
Die Stage extrahiert den eingebetteten Nachrichtentext, der dem Leser angezeigt wird, mit einem vollständigen MIME-Parser (gemeinsame Logik in pepsi-common): text/plain-Teile werden wörtlich genommen und text/html-Teile auf Klartext reduziert, jeweils von ihrer Content-Transfer-Encoding und ihrem deklarierten Zeichensatz nach UTF-8 dekodiert. Anhänge (einschließlich Text-Anhänge) werden ignoriert, ebenso verschlüsselte oder anderweitig undurchsichtige Nachrichtentexte (zum Beispiel multipart/encrypted oder application/pkcs7-mime), die keinen lesbaren Text tragen. Bei einem multipart/alternative wird die HTML-Alternative gelesen, weil die meisten Mail-Clients diese anzeigen; die Klartext-Alternative wird nur gelesen, wenn die HTML-Alternative keine Prosa enthält (eine Nachricht, die nur aus Bildern und Links besteht). Ein Absender kann dem Leser nicht eine Sprache und dem Klassifikator eine andere zeigen:
HTML wird ohne das gerendert, was ein Client nicht anzeigt:
<head>,<style>,<script>,<template>, Kommentare, Elemente mit demhidden-Attribut und Elemente, die ihr Inline-styleverbirgt (display: none,visibility: hidden, einefont-sizeoderopacityvon null in beliebiger Einheit, eineheightodermax-heightvon null mitoverflow: hidden). Klassen aus einem Stylesheet werden nicht ausgewertet, da das eine CSS-Engine erfordert; so verborgener Text wird weiterhin gelesen.Unsichtbare und Formatzeichen (Unicode
Default_Ignorable_Code_Pointund allgemeine KategorieCf, etwa Leerzeichen der Breite null) werden entfernt, damit sie nicht jedes Wort aufspalten.In einem Wort, das lateinische Buchstaben mit Buchstaben einer anderen Schrift mischt, werden die anderen Buchstaben auf die lateinischen zurückgefaltet, denen sie ähneln, mit den Unicode-Confusables-Daten (UTS #39), die auch die Betreff-Indikatoren verwenden, sodass „pay“ mit einem kyrillischen a (U+0430) als
paygelesen wird. Ein in einer einzigen Schrift geschriebenes Wort bleibt unverändert, sodass kyrillische oder griechische Prosa so gelesen wird, wie sie ist.
95.1.29.1.3.1. Prosafilterung¶
Der extrahierte Text wird anschließend auf denjenigen Teil reduziert, der Prosa ist, und nur dieser wird klassifiziert. Ein statistischer Detektor modelliert, wie Menschen Wörter schreiben, und der Nachrichtentext einer E-Mail ist voll von Dingen, die keine Wörter sind: URLs, Adressen, Base64-Schlüssel, DNS-Einträge, hexadezimale Bezeichner. Ungefiltert wird ein Nachrichtentext, der überwiegend aus Maschinentext besteht, aus dem Maschinentext klassifiziert: Eine Benachrichtigung über DNS-Einträge oder ein Spam-Text aus zwei nackten URLs erhält ein selbstsicheres Urteil für eine Sprache, in der niemand darin geschrieben hat, selbst wenn jedes Wort, das ein Mensch dort geschrieben hat, Englisch ist.
Zwei Filter laufen, in dieser Reihenfolge:
Tokens, die keine Wörter sein können, werden verworfen: alles, was
@, einen Schrägstrich oder Backslash oder einen innenliegenden Punkt enthält, alles, was mithttpoderwww.beginnt, alles mit weniger als der Hälfte Buchstaben, alles mit einer Ziffer, alles länger als 30 Zeichen und alles, dessen Groß-/Kleinschreibung innerhalb des Wortes wechselt (CamelCase, Base64);Zeilen, denen weniger als 15 Buchstaben bleiben oder in denen Buchstaben nicht die Mehrheit bilden, werden verworfen. Nach dem ersten Filter bleibt von einem DNS-Dump oder einer Tabelle nur eine Streuung nackter Feldnamen übrig, und das ist in keiner Sprache Prosa.
Die Regeln kennen Schriften, die Wörter nicht durch Leerzeichen trennen (Han, Kana, Hangul, Thai, Khmer, Laotisch, Birmanisch, Tibetisch): Dort trifft ein ganzer Satzteil als ein Token ein, sodass die Längen-, Ziffern-, Punkt- und Großschreibungsregeln darauf nicht angewandt werden und Zeilen danach beurteilt werden, wie viele Buchstaben sie enthalten, statt wie viele Wörter. Ohne das würde eine chinesische oder thailändische Nachricht vollständig gelöscht.
95.1.29.1.3.2. Klassifikation¶
Die verbliebene Prosa wird mit dem statistischen Detektor lingua klassifiziert, gebaut aus den von der LANGUAGES-Option benannten Kandidatensprachen. Der Detektor liefert eine Wahrscheinlichkeit für jede Kandidatensprache. Die Stage hält die wahrscheinlichsten Sprachen fest, deren Wahrscheinlichkeit mindestens 5 % beträgt, höchstens drei davon.
Höchstens die ersten 20 000 Zeichen dieser Prosa werden klassifiziert. Der Detektor bewertet jede Kandidatensprache über den gesamten Text, seine Kosten sind also die Länge des Textes mal die Zahl der Kandidatensprachen. Mit LANGUAGES = * gibt es 75 Kandidaten, und die Größengrenze für Nachrichten wird in Megabyte gemessen. Eine Sprache entscheidet sich in den ersten paar Kilobyte; den Rest einer langen Nachricht zu klassifizieren würde den Worker nur beschäftigen. Dafür gibt es keine Option: Es ist eine Obergrenze für die Arbeit, keine Richtlinie.
Die Stage überspringt die Klassifikation, wenn die Nachricht keinen brauchbaren eingebetteten Text hat, wenn nichts von diesem Text Prosa ist oder wenn es zu wenig Prosa gibt (weniger als 20 Zeichen), um zuverlässig zu klassifizieren. Die Nachricht schaltet dann unverändert weiter, ohne dass ein language-Schlüssel hinzugefügt wird; dasselbe geschieht, wenn kein Kandidat 5 % erreicht. Nichts festzuhalten ist Absicht: Ein Nachrichtentext, der nur aus URLs besteht, hat keine Sprache, und durch Raten aus einem URL-Slug wird eine Nachricht selbstsicher mit einer Sprache markiert, in der sie niemand geschrieben hat.
95.1.29.1.4. Ausgabeformat¶
state.language ist eine Zeichenkette in der Syntax eines HTTP-Accept-Language-Headers: eine durch Kommas getrennte Liste von code;q=quality-Elementen, von der wahrscheinlichsten zur unwahrscheinlichsten geordnet. Jeder code ist der ISO-639-1-Code der Sprache und jede quality ihre Erkennungswahrscheinlichkeit im Bereich 0–1 (nachgestellte Nullen abgeschnitten, sodass eine sichere einzelne Sprache q=1 lautet). Zum Beispiel könnte eine überwiegend englische Nachricht mit etwas Deutsch festgehalten werden als:
en;q=0.55, de;q=0.45
Die Wahrscheinlichkeiten über alle Kandidatensprachen summieren sich zu 1, sodass sich die festgehaltenen Qualitäten zu höchstens 1 summieren.
Der Detektor ist teuer zu konstruieren, daher baut ihn jeder Worker-Prozess einmal (je verschiedenem Kandidatensprachensatz) und verwendet ihn für jede Nachricht wieder. Er wird mit der vollen Genauigkeit von lingua gebaut; der Modus geringer Genauigkeit der Bibliothek wird bewusst nicht genutzt. Dieser Modus kürzt ab: Er liefert eine Sprache mit Wahrscheinlichkeit 1, sobald genau eine Kandidatensprache ein irgendwo im Text vorkommendes N-Gramm besitzt, ohne den Rest zu betrachten. Dann kann eine einzige Adresse in einer zitierten Zuschreibungszeile oder ein Base64-Schlüssel über die Sprache von Kilobytes an Prosa entscheiden. Bei gefilterter Prosa ist der Modus auch nicht billiger: Die Abkürzungssuche kostet Zeit und wird dann verworfen, und der Modus lädt zusätzliche N-Gramm-Zählmodelle vorab, sodass er keinen Vorteil bringt.
95.1.29.1.5. Konfiguration¶
Die Optionen liegen im eigenen [stage-<name>]-Abschnitt der Stage (PROGRAM = pepsi-stage-detect-language): ein NEXT_STAGE und die Kandidaten-LANGUAGES-Menge. Sie sind in pepsi.conf(5) dokumentiert.
95.1.29.1.6. State¶
Eingaben: keine aus state; die Stage liest den gespeicherten Nachrichtentext.
Ausgaben: Wenn mindestens eine Sprache erkannt wird, führt die Stage language (die Accept-Language-artige Zeichenkette) in state zusammen und schaltet weiter, und zwar in einer einzigen Aktualisierung, die den Datensatz zu NEXT_STAGE bewegt und den Schlüssel einmischt. Andernfalls bleibt state unberührt, und der Datensatz schaltet einfach weiter. Das State-Layout wird in pepsi.state(7) beschrieben.
Übergänge: schaltet immer zu NEXT_STAGE weiter, ob eine Sprache erkannt wurde oder nicht. Es gibt keine Verzweigung; die Stage pausiert nie, schlägt nie fehl, teilt nie auf und schließt nie ab. Eine Nachricht, deren Inhalt den Klassifikator in Panik versetzt, wird ohne Sprache weitergeschaltet, mit einer Warnung im Log: Eine Wiederholung würde nur erneut eine Panic auslösen, und nichts nachgelagert benötigt eine Sprache.
95.1.29.1.7. Befehle¶
- worker
Läuft als persistenter pepsi-dispatch(1)-Worker, der Nachrichten-IDs von der Standardeingabe liest.
95.1.29.1.8. Globale Optionen¶
- -c FILE, –config FILE
Liest die Konfiguration aus FILE, statt die Standardorte zu durchsuchen.
- -L LOGLEVEL, –log LOGLEVEL
Setzt die Log-Ausführlichkeit (Standardwert
[pepsi] LOG, sonstinfo).- -v, –verbose
Zeigt Log-Meldungen aus allen Quellen.
- -h, –help; -V, –version
Gibt eine Verwendungsübersicht / die Version aus und beendet sich.
95.1.29.1.9. Exit-Status¶
Das Ergebnis jeder Nachricht wird pepsi-dispatch(1) auf der Statuszeile des Workers gemeldet, nicht als Exit-Status. Eine Nachricht, die nicht running ist, schlägt fehl, ebenso eine Nachricht, für die eine adressbezogene Einstellung den Abschnitt der Stage unbrauchbar macht (etwa ein ungültiger LANGUAGES-Code). Ein Fehler des Hosts (die Datenbank, eine Vorlage oder ein Helfer, die sich nicht verwenden lassen) ist kein Fehlschlag: Die Nachricht wird pausiert und erneut versucht, wie es Stage errors in pepsi-dispatch(1) beschreibt.
- 0
Der Worker lief, bis seine Standardeingabe geschlossen wurde.
- 1
Ein fataler Fehler ist aufgetreten (unlesbare Konfiguration, die Datenbank konnte nicht geöffnet werden, oder Standardein-/-ausgabe schlug fehl). Der Grund wird in das Journal geschrieben.
- 78
Der Worker hat den Start verweigert: Ein
[stage-*]-Abschnitt, den er bedient, lässt sich nicht parsen (z. B. ein ungültiger LANGUAGES-Code oder ein fehlendes NEXT_STAGE). Der Dispatcher reiht erneut ein, was er übergeben hatte, und versucht die Stage später wieder.
95.1.29.1.10. Platzierung¶
Die Stage liest den Klartext-Nachrichtentext, gehört also auf einem entschlüsselnden Zweig hinter pepsi-stage-decrypt(1) und vor pepsi-stage-reencrypt(1); pepsi-setup(1) warnt, wenn die Neuverschlüsselungs-Stage zu ihr führt. Sie wird typischerweise vor den Stages platziert, die state.language lesen: pepsi-stage-block-language(1), pepsi-stage-vacation(1) und die Vorlagen der automatischen Antworten.
95.1.29.1.11. Diagnose und Tuning¶
pepsi-detect-language(1) ist das Offline-Gegenstück dieser Stage: dieselbe ausführbare Datei unter einem zweiten Namen, die eine aus einer Datei oder von der Standardeingabe gelesene Nachricht klassifiziert und nur ausgibt, was diese Stage festgehalten hätte, ohne die Datenbank zu verwenden. Verwenden Sie es, um eine Fehlklassifikation aus einer gespeicherten Nachricht nachzustellen (--explain zeigt den extrahierten Text, die nach der Filterung verbliebene Prosa und die Konfidenz jeder Kandidatensprache) und um Kandidatensätze auszuprobieren, bevor Sie einen konfigurieren (--languages).
95.1.29.1.12. Beispiele¶
Eine Nachricht von Hand klassifizieren (die ID muss einen running-Datensatz benennen):
echo 42 | pepsi-stage-detect-language -c /etc/pepsi/pepsi.conf worker
Ein Pipeline-Abschnitt, der die Sprache des Nachrichtentexts vor der Prüfung der weißen Liste kennzeichnet:
[stage-detect-language]
PROGRAM = pepsi-stage-detect-language
NEXT_STAGE = check-whitelist
LANGUAGES = en de fr es
95.1.29.1.13. Siehe auch¶
pepsi-detect-language(1), pepsi-config(1), pepsi-stage-check-whitelist(1), pepsi-dispatch(1), pepsi.conf(5), pepsi.state(7), pepsi-setup(1)
95.1.29.1.14. Fehler¶
Melden Sie Fehler an den Pepsi-Issue-Tracker.