6.2.5. Issue on page /corpus_processing/corpus-processing_nlp-annotation.html | Unterschied Worthäufigkeit (lokal, Windows)

[rsgigsbe]

 6.2.5 Annotation mit spaCy

Worthäufigkeit mit echter Tokenisierung

• Ausgabe Worthäufigkeit vor der Tokenisierung: 11612

• Ausgabe Worthäufigkeit nach Tokenisierung: 14981 (Unterschied zur Ausgabe in der Fallstudie: 15062)

[DanilSko]

Vielen Dank für den Hinweis! Wir haben die Zahlen nachgerechnet und konnten die Abweichung mit der Textdatei aus dem Repositorium bisher nicht reproduzieren – in allen geprüften Konfigurationen kommen wir auf 15062:

Konfiguration	Naive Aufteilung	spaCy-Token
spaCy 3.7.4 + de_core_news_sm 3.7.0 (Build des Lehrbuchs)	11612	15062
spaCy 3.8.16 + de_core_news_sm 3.8.0 (aktuell)	11612	15062
nur der deutsche Tokenizer, ohne Modell (spacy.blank("de"))	11612	15062

Die Zahl hängt also nicht von der spaCy- oder Modellversion ab. Auch Zeilenenden (Windows/Unix) scheiden als Ursache aus – die Datei enthält keine Zeilenumbrüche. Das spricht dafür, dass bei Ihnen ein anderer Eingabetext annotiert wurde.

Genau das konnte bisher unbemerkt passieren, und wir haben es korrigiert:

• Die Nachkorrektur des gesamten Korpus (Kapitel 5.2, „Advanced“-Abschnitt) hat die Dateien in data/txt an Ort und Stelle überschrieben. Sie schreibt jetzt in den eigenen Ordner data/txt_postcorr, das Ausgangskorpus bleibt erhalten.
• Die korpusweite OCR (Kapitel 4.4, „Advanced“-Abschnitt) ersetzt gleichnamige Dateien in data/txt durch Ihr eigenes OCR-Ergebnis. Das ist so gewollt, wird jetzt aber deutlich gekennzeichnet – samt Hinweis auf einen alternativen Zielordner.

Zusätzlich haben wir im Annotations-Notebook zwei Dinge ergänzt: Das deutsche Sprachmodell wird jetzt tatsächlich installiert (die Zeile war auskommentiert), und eine neue Zelle zeigt, dass spaCy auch Leerraum als Token zählt – 15062 setzen sich zusammen aus 14056 Wort-Token und 1006 Leerraum-Token.

Damit wir Ihren Fall sicher einordnen können, wären zwei Angaben hilfreich. Könnten Sie diese Zellen im Notebook ausführen und die Ausgabe hier posten?

import spacy, importlib.metadata as md
print("spaCy:", spacy.__version__, "| Modell:", md.version("de_core_news_sm"))

from pathlib import Path
text = Path("../data/txt/SNP2719372X-19181015-0-0-0-0.txt").read_text(encoding="utf-8")
print("Zeichen:", len(text), "| Wörter (naiv):", len(text.split()))

Erwartet für die Originaldatei: 71705 Zeichen und 11612 Wörter. Weicht die Zeichenzahl ab, wurde die Datei lokal verändert – dann würde uns interessieren, ob Sie zuvor die „Advanced“-Zellen aus Kapitel 4.4 oder 5.2 ausgeführt haben.