Hoch

NLTK: Denial-of-Service zur Kompilierzeit regulärer Ausdrücke in Such- und Tokenizer-Funktionen

  • Veröffentlicht: 19.11.2026
  • Aktualisiert: 22.11.2026 10:00

Zusammenfassung

NLTK weist in seinen Regex-Suchfunktionen eine zur Kompilierzeit auftretende Denial-of-Service-Schwachstelle (ReDoS) auf. Wenn eine Anwendung nicht vertrauenswürdige Eingaben als Suchmuster an TokenSearcher.findall() / Text.findall() oder als Tokenizer-Muster an RegexpTokenizer übergibt, wird dieses an die Drittanbieter-Engine regex weitergeleitet. Deren Kompilierungsaufwand skaliert annähernd quadratisch mit der Anzahl der Erfassungsgruppen. Ein kurzes Muster der Form () mit zahlreichen Wiederholungen (beispielsweise "()" * 25000, ca. 50 KB) führt zu zehntelanger synchroner CPU-Auslastung, noch bevor der eigentliche Abgleich beginnt. Das in NLTK implementierte Wall-Clock-Timeout greift erst beim Abgleich und schützt nicht vor Blockaden während der Kompilierung. Dadurch kann eine einzelne kleine Anfrage einen CPU-Kern blockieren, während wiederholte oder gleichzeitige Anfragen sämtliche Kerne auslasten und den Dienst lahmlegen können.

Ursache

Die vorherige Maßnahme gegen Backtracking-Probleme zur Abgleichzeit (Advisory GHSA-rrv8-h7p8-rx55 / CVE-2026-80205) stellte den Pfad für vom Aufrufer bereitgestellte Suchmuster vom Standardbibliotheksmodul re auf die Engine regex um und kapselte den Abgleich in ein Wall-Clock-Timeout. Dieses Timeout begrenzt jedoch ausschließlich die Abgleichzeit beim Durchsuchen des Korpus. Die Kompilierung des Musters erfolgt vorab synchron und ohne Timeout-Schutz. Da der Compiler von regex bezüglich der Gruppenanzahl eine Komplexität von etwa O(n^2) aufweist, wird die Kompilierung bei vielen leeren Gruppen zum Engpass. Eine Begrenzung der Gruppenanzahl vor der Kompilierung ist nicht vorhanden.

Affected components / functions:
- nltk.text.TokenSearcher.findall  (nltk/text.py)  -> regex.findall(pattern, corpus, timeout=...)
    On released 3.10.0-3.10.2 this sink calls regex.findall directly; on 3.10.3 and later it
    routes through nltk.redos.compile. Either way the regex engine compiles the caller pattern
    with no group-count bound, and the timeout guards only matching.
- nltk.redos.compile  (nltk/redos.py, introduced in 3.10.3)  -> regex.compile(src, flags)
    Called synchronously before the timeout-bearing wrapper exists. On released 3.10.3 there is
    no pre-compile guard at all; on the current development tree a check_pattern bounds source
    length, nesting depth, and counted-repeat product, but not the number of groups.

Auswirkungen

Nicht authentifizierte Angreifer, die Einfluss auf reguläre Ausdrücke nehmen können, die an NLTK-Such- oder Tokenizer-Einstiegspunkte übergeben werden, können einen erheblichen CPU-Verbrauch erzwingen. Eine Anfrage mit einem etwa 50 KB großen Muster aus leeren Gruppen blockiert einen Worker für Dutzende Sekunden. Mangels Längenbeschränkung im Release 3.10.3 oder bei parallelen Anfragen können alle verfügbaren Kerne erschöpft werden. Vertraulichkeit und Integrität sind nicht betroffen; der Dienst erholt sich nach Abschluss der Kompilierung oder nach Beendigung des Workers.

Proof of Concept

Requires the nltk package (3.10.0 through 3.10.3) and its declared regex dependency. No corpus data or network access is needed.

  1. Ein Muster mit vielen leeren Erfassungsgruppen erstellen.
  2. Das Muster an eine betroffene Senke übergeben und die Zeit vor Beginn des Abgleichs messen.
  3. Beobachten, dass das Abgleich-Timeout nicht auslöst, da die Verzögerung bei der Kompilierung entsteht.
python
import time, regex

# Exact released 3.10.0-3.10.2 code path of TokenSearcher.findall:
#   regex.findall(pattern, corpus, timeout=<wall-clock match limit>)
pattern = "()" * 25000            # ~50 KB, 25000 capturing groups; survives the "<>." rewrites
start = time.perf_counter()
try:
    regex.findall(pattern, "<hello><world><foo>", timeout=1.0)
    print(f"completed in {time.perf_counter()-start:.2f}s with NO TimeoutError")
except TimeoutError:
    print(f"TimeoutError after {time.perf_counter()-start:.2f}s")

# Negative control: same length, zero groups, compiles in well under a second.
start = time.perf_counter()
regex.findall("a" * 50000, "<hello>", timeout=1.0)
print(f"control (0 groups) completed in {time.perf_counter()-start:.2f}s")
completed in 4.24s with NO TimeoutError
control (0 groups) completed in 0.16s

Weitere Messungen auf demselben System: regex.compile("()" * n) skalierte mit 0.35s / 1.17s / 2.61s / 4.77s für n = 5000 / 10000 / 15000 / 20000 (quadratisches Wachstum); das Modul re.compile("()" * 20000) der Standardbibliothek benötigte lediglich 0.14s, was belegt, dass die Ursache in der Engine regex und der Gruppenanzahl liegt. Über die Tokenizer-Senke blockierte RegexpTokenizer("()" * 20000).tokenize("hello world") für ca. 5.1s vollständig in der Kompilierung ohne TimeoutError.

Angriffskette

  1. Exposition: Eine Anwendung macht NLTK-Regex-Suchen oder -Tokenisierung für Benutzereingaben zugänglich (z. B. Suchfunktionen über Text.findall() / TokenSearcher.findall() oder ein RegexpTokenizer mit benutzerdefiniertem Muster).
  2. Kontrolle: Der Angreifer übergibt das Muster () mit n Wiederholungen. Da es keine Leerzeichen, <, > oder . enthält, passiert es die Bereinigungsschritte in TokenSearcher.findall (nltk/text.py) unverändert und erreicht RegexpTokenizer.
  3. Pfad: Das Muster gelangt an die Kompilierungssenke: regex.findall(pattern, corpus, timeout=...) in 3.10.0 über 3.10.2, oder nltk.redos.compile zu regex.compile in 3.10.3 sowie den Tokenizer-Pfad.
  4. Schutzmechanismus: Das Timeout greift erst beim Abgleich nach der Kompilierung. Im Release 3.10.3 gibt es vor der Kompilierung keine Prüfung; im Entwicklungszweig werden zwar Länge, Schachtelungstiefe und Zählwiederholungen geprüft, nicht jedoch die Gruppenanzahl.
  5. Primitive: Synchrone, nicht unterbrechbare Regex-Kompilierung mit quadratischem Aufwand bezüglich der Gruppenanzahl.
  6. Ergebnis: Eine kleine Anfrage blockiert einen CPU-Kern für Dutzende Sekunden; parallele Anfragen führen zur Dienstverweigerung.

Umgehung des früheren Fixes

Die Schwachstelle beruht auf einer unvollständigen Behebung des früheren Advisorys GHSA-rrv8-h7p8-rx55 / CVE-2026-80205 (Backtracking in Text.findall()), das auf regex und ein Abgleich-Timeout setzte. Dieses Timeout greift nicht während der vorangehenden synchronen Kompilierung.

Überprüfungen:

  • Timeout: regex.findall("()" * 20000, corpus, timeout=1.0) lief etwa 4.3s ohne TimeoutError, und RegexpTokenizer("()" * 20000).tokenize(...) blockierte etwa 5.1s ohne TimeoutError. Das Match-Timeout greift bei der Kompilierung nachweislich nicht.
  • Vorab-Prüfung (Entwicklungszweig): Bei () oszilliert der Zähler für Gruppen-/Klassenschachtelung zwischen 0 und 1; die Längenbegrenzung erlaubt weiterhin rund 50000 Gruppen. Die Prüfung akzeptiert "()" * 49000, da Gruppen nicht gezählt werden.
  • Kompilierungs-Cache: Der interne Cache bedient nur kurze Muster, und betroffene Senken kompilieren direkt; unterschiedliche n-Werte erfordern jedes Mal eine Neu-Kompilierung.
  • Duplikatprüfung: Frühere Advisories betrafen Backtracking oder Parser-Rekursion, nicht das Verhalten des Compilers.
  • Negativkontrollen: Ein gleich langes Muster ohne Gruppen sowie der Compiler re der Standardbibliothek erzeugen minimale Last; der Aufwand ist an die Gruppenanzahl in regex gebunden.

Betroffene Versionen

  • Ecosystem: pip (PyPI)
  • Package: nltk
  • Confirmed affected range: >= 3.10.0, <= 3.10.3
  • Latest release checked: 3.10.3 (PyPI, latest published)
  • Fix status: not fixed

Der Angriffsvektor entstand in Version 3.10.0 durch den Wechsel auf die Engine regex. Version 3.9.4 und früher nutzten re für TokenSearcher.findall (lineare Kompilierung, nicht anfällig: re.findall). Von 3.10.0 bis 3.10.2 ruft TokenSearcher.findall direkt regex.findall(pattern, corpus, timeout=...) auf (verifiziert auf 3.10.0). In Version 3.10.3 wurde nltk/redos.py eingeführt und RegexpTokenizer darüber geleitet. 3.10.3 besitzt keine Vorab-Prüfung oder Längenbeschränkung. 3.10.3 ist die letzte veröffentlichte Version; es gibt bisher kein fehlerbereinigtes Release. Auch der aktuelle Entwicklungszweig begrenzt die Gruppenanzahl nicht.

Vorgeschlagene Behebung

Die Komplexität vom Aufrufer bereitgestellter Muster muss vor der Kompilierung begrenzt werden. Insbesondere sollte die Anzahl der Gruppen vor Übergabe an die Engine regex limitiert werden, da die synchrone Kompilierung nicht vom Abgleich-Timeout erfasst wird. Der Schutz muss vor regex.compile / regex.findall greifen und an zentraler Stelle alle relevanten Einstiegspunkte abdecken (TokenSearcher.findall / Text.findall, RegexpTokenizer und weitere Tokenizer-, Tagger-, Stemmer- und Chunk-Rule-Senken).

Gemeldet von zx (GitHub: @manus-pi).

Status der Behebung (2026-09-28)

Status: IN BEARBEITUNG (Fix in offenem Pull Request, noch nicht in develop).

PR: #3895 "[WIP] Bound algorithmic-DoS and uncontrolled-recursion vectors (CWE-400/407/674/1333)", offen, Head b22ebe144.

Fix-Commit: 002bcf714 (redos.check_pattern weist Muster mit mehr als MAX_GROUP_COUNT=1000 Erfassungsgruppen vor der Kompilierung ab; alle Muster werden über redos.compile geleitet).

Erneuter PoC-Test (RegexpTokenizer("()" * 20000).tokenize("hello world")): Auf dem PR-Head führt dies nach unter 0.01 s zu einem ValueError ("regex opens more than 1000 capturing groups; refusing to compile"); auf develop 2fa3f48fe kompilierte das Muster 19.7 s lang ungehindert, somit ist develop weiterhin VERWUNDBAR.

Release: keines.

Was zu tun ist

Ein offizieller Release-Fix ist noch nicht verfügbar (eine Behebung befindet sich in Arbeit via Pull Request #3895). Als vorübergehende Schutzmaßnahme sollten Anwendungen, die betroffene Schnittstellen für nicht vertrauenswürdige Eingaben öffnen, übermäßig lange oder gruppenreiche Muster vorab validieren oder abweisen sowie reguläre NLTK-Operationen in ressourcenbeschränkten Worker-Prozessen mit CPU-Zeitlimits ausführen.

Betroffene Software

Klicken Sie auf eine Technologie, um alle zugehörigen Schwachstellen anzuzeigen.

PlattformPaketAnfällige VersionenBehoben in
Python (PyPI) nltk >= 3.10.0, < 3.10.4 3.10.4

Verweise

CVSS-Wert 7.5/10
CVSS-Vektor
CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:N/I:N/A:H
Schwäche (CWE)
CWE-1333, CWE-400
Plattform
Python (PyPI)
Paket
nltk
Veröffentlicht
19.11.2026
Aktualisiert
22.11.2026 10:00

Quellen und Lizenzen · Von DockRay bearbeitet oder übersetzt; Rechte und Lizenzen der Quellen bleiben erhalten.

OSV / GitHub Advisory Database - GHSA-32p6-cwhc-8r78 - CC BY 4.0

Schwachstellenhistorie: nltk

Alle veröffentlichten Schwachstellen dieses Pakets (Python (PyPI)), neueste zuerst. Zeigt, ob es ein einmaliger Ausrutscher ist oder ein Paket, das man im Auge behalten muss.

Alle (79) im Archiv
Einträge insgesamt
79
Erste → letzte
08.2019 11.2026
Ohne Fix
5
In Angriffen ausgenutzt
0

Verteilung nach Schweregrad

  • Kritisch 5
  • Hoch 41
  • Mittel 31
  • Niedrig 2

Veröffentlichungen pro Jahr

  1. 2019: 1
  2. 2020: 0
  3. 2021: 2
  4. 2022: 1
  5. 2023: 0
  6. 2024: 1
  7. 2025: 0
  8. 2026: 74
Schweregrad:
  1. NLTK: Denial-of-Service zur Kompilierzeit regulärer Ausdrücke in Such- und Tokenizer-Funktionen dieser Eintrag
    Hoch · 7.5 CVE-2026-129229 >= 3.10.0, < 3.10.4 3.10.4
  2. Hoch CVE-2026-79674 < 3.10.3 3.10.3
Mehr anzeigen (20) 20 von 46 angezeigt

Erkennen Sie Schwachstellen in Ihrer Anwendung

Mit der DockRay-Integration und aktivierter Softwareinventarisierung prüft DockRay gemeldete Komponentenversionen auf bekannte Schwachstellen und benachrichtigt Sie über bestätigte Treffer. Die Abdeckung hängt von der unterstützten Technologie und den verfügbaren Meldungen ab.

Anwendung verbinden
DockRay Newsletter

Anwendungssicherheit in Ihrem Postfach

Wichtige Schwachstellen, konkrete Empfehlungen und praktische Tipps für Ihre Anwendungen. Wählen Sie Ihre Technologien und verfolgen Sie, was für Ihr Projekt relevant ist.

  • Eine tägliche Zusammenfassung neuer Schwachstellen, auch kritischer.
  • Benachrichtigungen über wichtige Updates.
  • Praktische Tipps zur Sicherheit und Überwachung von Anwendungen.

Leer lassen, um Meldungen zu allen Technologien zu erhalten.

Kostenlos anmelden. In jeder E-Mail mit einem Klick abmelden.