NLTK: Denial-of-Service zur Kompilierzeit regulärer Ausdrücke in Such- und Tokenizer-Funktionen
Zusammenfassung
NLTK weist in seinen Regex-Suchfunktionen eine zur Kompilierzeit auftretende Denial-of-Service-Schwachstelle (ReDoS) auf. Wenn eine Anwendung nicht vertrauenswürdige Eingaben als Suchmuster an TokenSearcher.findall() / Text.findall() oder als Tokenizer-Muster an RegexpTokenizer übergibt, wird dieses an die Drittanbieter-Engine regex weitergeleitet. Deren Kompilierungsaufwand skaliert annähernd quadratisch mit der Anzahl der Erfassungsgruppen. Ein kurzes Muster der Form () mit zahlreichen Wiederholungen (beispielsweise "()" * 25000, ca. 50 KB) führt zu zehntelanger synchroner CPU-Auslastung, noch bevor der eigentliche Abgleich beginnt. Das in NLTK implementierte Wall-Clock-Timeout greift erst beim Abgleich und schützt nicht vor Blockaden während der Kompilierung. Dadurch kann eine einzelne kleine Anfrage einen CPU-Kern blockieren, während wiederholte oder gleichzeitige Anfragen sämtliche Kerne auslasten und den Dienst lahmlegen können.
Ursache
Die vorherige Maßnahme gegen Backtracking-Probleme zur Abgleichzeit (Advisory GHSA-rrv8-h7p8-rx55 / CVE-2026-80205) stellte den Pfad für vom Aufrufer bereitgestellte Suchmuster vom Standardbibliotheksmodul re auf die Engine regex um und kapselte den Abgleich in ein Wall-Clock-Timeout. Dieses Timeout begrenzt jedoch ausschließlich die Abgleichzeit beim Durchsuchen des Korpus. Die Kompilierung des Musters erfolgt vorab synchron und ohne Timeout-Schutz. Da der Compiler von regex bezüglich der Gruppenanzahl eine Komplexität von etwa O(n^2) aufweist, wird die Kompilierung bei vielen leeren Gruppen zum Engpass. Eine Begrenzung der Gruppenanzahl vor der Kompilierung ist nicht vorhanden.
Affected components / functions:
- nltk.text.TokenSearcher.findall (nltk/text.py) -> regex.findall(pattern, corpus, timeout=...)
On released 3.10.0-3.10.2 this sink calls regex.findall directly; on 3.10.3 and later it
routes through nltk.redos.compile. Either way the regex engine compiles the caller pattern
with no group-count bound, and the timeout guards only matching.
- nltk.redos.compile (nltk/redos.py, introduced in 3.10.3) -> regex.compile(src, flags)
Called synchronously before the timeout-bearing wrapper exists. On released 3.10.3 there is
no pre-compile guard at all; on the current development tree a check_pattern bounds source
length, nesting depth, and counted-repeat product, but not the number of groups.
Auswirkungen
Nicht authentifizierte Angreifer, die Einfluss auf reguläre Ausdrücke nehmen können, die an NLTK-Such- oder Tokenizer-Einstiegspunkte übergeben werden, können einen erheblichen CPU-Verbrauch erzwingen. Eine Anfrage mit einem etwa 50 KB großen Muster aus leeren Gruppen blockiert einen Worker für Dutzende Sekunden. Mangels Längenbeschränkung im Release 3.10.3 oder bei parallelen Anfragen können alle verfügbaren Kerne erschöpft werden. Vertraulichkeit und Integrität sind nicht betroffen; der Dienst erholt sich nach Abschluss der Kompilierung oder nach Beendigung des Workers.
Proof of Concept
Requires the nltk package (3.10.0 through 3.10.3) and its declared regex dependency. No corpus data or network access is needed.
- Ein Muster mit vielen leeren Erfassungsgruppen erstellen.
- Das Muster an eine betroffene Senke übergeben und die Zeit vor Beginn des Abgleichs messen.
- Beobachten, dass das Abgleich-Timeout nicht auslöst, da die Verzögerung bei der Kompilierung entsteht.
import time, regex
# Exact released 3.10.0-3.10.2 code path of TokenSearcher.findall:
# regex.findall(pattern, corpus, timeout=<wall-clock match limit>)
pattern = "()" * 25000 # ~50 KB, 25000 capturing groups; survives the "<>." rewrites
start = time.perf_counter()
try:
regex.findall(pattern, "<hello><world><foo>", timeout=1.0)
print(f"completed in {time.perf_counter()-start:.2f}s with NO TimeoutError")
except TimeoutError:
print(f"TimeoutError after {time.perf_counter()-start:.2f}s")
# Negative control: same length, zero groups, compiles in well under a second.
start = time.perf_counter()
regex.findall("a" * 50000, "<hello>", timeout=1.0)
print(f"control (0 groups) completed in {time.perf_counter()-start:.2f}s")
completed in 4.24s with NO TimeoutError
control (0 groups) completed in 0.16s
Weitere Messungen auf demselben System: regex.compile("()" * n) skalierte mit 0.35s / 1.17s / 2.61s / 4.77s für n = 5000 / 10000 / 15000 / 20000 (quadratisches Wachstum); das Modul re.compile("()" * 20000) der Standardbibliothek benötigte lediglich 0.14s, was belegt, dass die Ursache in der Engine regex und der Gruppenanzahl liegt. Über die Tokenizer-Senke blockierte RegexpTokenizer("()" * 20000).tokenize("hello world") für ca. 5.1s vollständig in der Kompilierung ohne TimeoutError.
Angriffskette
- Exposition: Eine Anwendung macht NLTK-Regex-Suchen oder -Tokenisierung für Benutzereingaben zugänglich (z. B. Suchfunktionen über
Text.findall()/TokenSearcher.findall()oder einRegexpTokenizermit benutzerdefiniertem Muster). - Kontrolle: Der Angreifer übergibt das Muster
()mit n Wiederholungen. Da es keine Leerzeichen,<,>oder.enthält, passiert es die Bereinigungsschritte inTokenSearcher.findall(nltk/text.py) unverändert und erreichtRegexpTokenizer. - Pfad: Das Muster gelangt an die Kompilierungssenke:
regex.findall(pattern, corpus, timeout=...)in 3.10.0 über 3.10.2, odernltk.redos.compilezuregex.compilein 3.10.3 sowie den Tokenizer-Pfad. - Schutzmechanismus: Das Timeout greift erst beim Abgleich nach der Kompilierung. Im Release 3.10.3 gibt es vor der Kompilierung keine Prüfung; im Entwicklungszweig werden zwar Länge, Schachtelungstiefe und Zählwiederholungen geprüft, nicht jedoch die Gruppenanzahl.
- Primitive: Synchrone, nicht unterbrechbare Regex-Kompilierung mit quadratischem Aufwand bezüglich der Gruppenanzahl.
- Ergebnis: Eine kleine Anfrage blockiert einen CPU-Kern für Dutzende Sekunden; parallele Anfragen führen zur Dienstverweigerung.
Umgehung des früheren Fixes
Die Schwachstelle beruht auf einer unvollständigen Behebung des früheren Advisorys GHSA-rrv8-h7p8-rx55 / CVE-2026-80205 (Backtracking in Text.findall()), das auf regex und ein Abgleich-Timeout setzte. Dieses Timeout greift nicht während der vorangehenden synchronen Kompilierung.
Überprüfungen:
- Timeout:
regex.findall("()" * 20000, corpus, timeout=1.0)lief etwa 4.3s ohneTimeoutError, undRegexpTokenizer("()" * 20000).tokenize(...)blockierte etwa 5.1s ohneTimeoutError. Das Match-Timeout greift bei der Kompilierung nachweislich nicht. - Vorab-Prüfung (Entwicklungszweig): Bei
()oszilliert der Zähler für Gruppen-/Klassenschachtelung zwischen 0 und 1; die Längenbegrenzung erlaubt weiterhin rund 50000 Gruppen. Die Prüfung akzeptiert"()" * 49000, da Gruppen nicht gezählt werden. - Kompilierungs-Cache: Der interne Cache bedient nur kurze Muster, und betroffene Senken kompilieren direkt; unterschiedliche n-Werte erfordern jedes Mal eine Neu-Kompilierung.
- Duplikatprüfung: Frühere Advisories betrafen Backtracking oder Parser-Rekursion, nicht das Verhalten des Compilers.
- Negativkontrollen: Ein gleich langes Muster ohne Gruppen sowie der Compiler
reder Standardbibliothek erzeugen minimale Last; der Aufwand ist an die Gruppenanzahl inregexgebunden.
Betroffene Versionen
Ecosystem: pip (PyPI)Package: nltkConfirmed affected range: >= 3.10.0, <= 3.10.3Latest release checked: 3.10.3 (PyPI, latest published)Fix status: not fixed
Der Angriffsvektor entstand in Version 3.10.0 durch den Wechsel auf die Engine regex. Version 3.9.4 und früher nutzten re für TokenSearcher.findall (lineare Kompilierung, nicht anfällig: re.findall). Von 3.10.0 bis 3.10.2 ruft TokenSearcher.findall direkt regex.findall(pattern, corpus, timeout=...) auf (verifiziert auf 3.10.0). In Version 3.10.3 wurde nltk/redos.py eingeführt und RegexpTokenizer darüber geleitet. 3.10.3 besitzt keine Vorab-Prüfung oder Längenbeschränkung. 3.10.3 ist die letzte veröffentlichte Version; es gibt bisher kein fehlerbereinigtes Release. Auch der aktuelle Entwicklungszweig begrenzt die Gruppenanzahl nicht.
Vorgeschlagene Behebung
Die Komplexität vom Aufrufer bereitgestellter Muster muss vor der Kompilierung begrenzt werden. Insbesondere sollte die Anzahl der Gruppen vor Übergabe an die Engine regex limitiert werden, da die synchrone Kompilierung nicht vom Abgleich-Timeout erfasst wird. Der Schutz muss vor regex.compile / regex.findall greifen und an zentraler Stelle alle relevanten Einstiegspunkte abdecken (TokenSearcher.findall / Text.findall, RegexpTokenizer und weitere Tokenizer-, Tagger-, Stemmer- und Chunk-Rule-Senken).
Gemeldet von zx (GitHub: @manus-pi).
Status der Behebung (2026-09-28)
Status: IN BEARBEITUNG (Fix in offenem Pull Request, noch nicht in develop).
PR: #3895 "[WIP] Bound algorithmic-DoS and uncontrolled-recursion vectors (CWE-400/407/674/1333)", offen, Head b22ebe144.
Fix-Commit: 002bcf714 (redos.check_pattern weist Muster mit mehr als MAX_GROUP_COUNT=1000 Erfassungsgruppen vor der Kompilierung ab; alle Muster werden über redos.compile geleitet).
Erneuter PoC-Test (RegexpTokenizer("()" * 20000).tokenize("hello world")): Auf dem PR-Head führt dies nach unter 0.01 s zu einem ValueError ("regex opens more than 1000 capturing groups; refusing to compile"); auf develop 2fa3f48fe kompilierte das Muster 19.7 s lang ungehindert, somit ist develop weiterhin VERWUNDBAR.
Release: keines.
Was zu tun ist
Ein offizieller Release-Fix ist noch nicht verfügbar (eine Behebung befindet sich in Arbeit via Pull Request #3895). Als vorübergehende Schutzmaßnahme sollten Anwendungen, die betroffene Schnittstellen für nicht vertrauenswürdige Eingaben öffnen, übermäßig lange oder gruppenreiche Muster vorab validieren oder abweisen sowie reguläre NLTK-Operationen in ressourcenbeschränkten Worker-Prozessen mit CPU-Zeitlimits ausführen.
Betroffene Software
Klicken Sie auf eine Technologie, um alle zugehörigen Schwachstellen anzuzeigen.
| Plattform | Paket | Anfällige Versionen | Behoben in |
|---|---|---|---|
| Python (PyPI) | nltk | >= 3.10.0, < 3.10.4 | 3.10.4 |
Verweise
- https://github.com/nltk/nltk/security/advisories/GHSA-32p6-cwhc-8r78
- https://nvd.nist.gov/vuln/detail/CVE-2026-129229
- https://github.com/nltk/nltk/pull/3895
- https://github.com/nltk/nltk/commit/002bcf714ef8cb8baf94436f4be73e5516914412
- https://github.com/nltk/nltk
- https://github.com/nltk/nltk/releases/tag/v3.10.4
- CVSS-Vektor
CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:N/I:N/A:H- Schwäche (CWE)
CWE-1333, CWE-400- Plattform
- Python (PyPI)
- Paket
nltk- Veröffentlicht
- 19.11.2026
- Aktualisiert
- 22.11.2026 10:00
Quellen und Lizenzen · Von DockRay bearbeitet oder übersetzt; Rechte und Lizenzen der Quellen bleiben erhalten.
OSV / GitHub Advisory Database - GHSA-32p6-cwhc-8r78 - CC BY 4.0
Schwachstellenhistorie: nltk
Alle veröffentlichten Schwachstellen dieses Pakets (Python (PyPI)), neueste zuerst. Zeigt, ob es ein einmaliger Ausrutscher ist oder ein Paket, das man im Auge behalten muss.
- Einträge insgesamt
- 79
- Erste → letzte
- 08.2019 11.2026
- Ohne Fix
- 5
- In Angriffen ausgenutzt
- 0
Verteilung nach Schweregrad
- Kritisch 5
- Hoch 41
- Mittel 31
- Niedrig 2
Veröffentlichungen pro Jahr
- 2019: 1
- 2020: 0
- 2021: 2
- 2022: 1
- 2023: 0
- 2024: 1
- 2025: 0
- 2026: 74
-
NLTK: Denial-of-Service zur Kompilierzeit regulärer Ausdrücke in Such- und Tokenizer-Funktionen dieser Eintrag
Erkennen Sie Schwachstellen in Ihrer Anwendung
Mit der DockRay-Integration und aktivierter Softwareinventarisierung prüft DockRay gemeldete Komponentenversionen auf bekannte Schwachstellen und benachrichtigt Sie über bestätigte Treffer. Die Abdeckung hängt von der unterstützten Technologie und den verfügbaren Meldungen ab.