Websites herunterladen, die AWS WAF Captcha nutzen

Über AWS WAF Captcha

AWS WAF Captcha begegnet uns nur, wenn eine Website bereits entschieden hat, dass unser Crawler verdächtig aussieht. Auf einer Seite, die der Mechanismus durchlässt, weist nichts auf ihn hin, und deshalb misst die Erkennung selbst, wie eine Website mit automatisiertem Traffic umgeht.

Die Funktion stammt vom Anbieter Amazon Web Services, erschien 2021 als Teil des verwalteten Firewall-Produkts und wird unter der Lizenz Proprietary als Dienst verkauft, der einer Anwendung auf einem Content-Delivery-Netzwerk, einem Load Balancer oder einem API-Gateway vorgeschaltet ist. Regeln entscheiden, wann eine Anfrage verdächtig aussieht, nach Anfragerate, nach Reputation der Adresse oder nach einer vom Betreiber formulierten Bedingung, und erst dann erscheint eine Challenge. Ein Schutzmechanismus der Kategorie Security mit diesem Aufbau hinterlässt bei Anfragen, die er durchwinkt, keine Spur.

Die Zahl braucht deshalb zuerst einen Vorbehalt und erst danach eine Deutung. Stand Oktober 2026 verzeichnen wir die Challenge auf 3.638 Websites, und genau genommen ist das die Zahl der Websites, die unserem Crawler eine Challenge gestellt haben, nicht die Zahl der durch die Firewall geschützten Websites. Die tatsächlich installierte Basis ist größer, und in der Stichprobe sind Betreiber überrepräsentiert, die aggressive Regeln geschrieben haben oder unbekannte User-Agents standardmäßig als verdächtig behandeln.

Gerade diese Schieflage ist das Nützliche daran. Eine Website, die einem sich korrekt verhaltenden Crawler eine Challenge stellt, sagt etwas Bestimmtes über ihre Sicherheitshaltung aus, und eine Liste solcher Websites ist eine Liste von Web-Angeboten, bei denen automatisierter Zugriff voraussichtlich schwierig ist. Konkurrierende Anbieter von Bot-Abwehr lesen sie als Kundenliste des etablierten Anbieters. Teams, die Datenerhebungen planen, lesen sie als Karte der Stellen, an denen ihre Erfassungswerkzeuge hängen bleiben werden. Infrastrukturforscher lesen sie als Indikator dafür, wie weit sich die verwaltete Firewall im übrigen Cloud-Bestand ausgebreitet hat, denn die Challenge setzt den gesamten Edge-Stack voraus, der hinter ihr steht.

Aus derselben Zeile lässt sich ein weiterer Schluss ziehen. Eine Domain, die diese Challenge ausliefert, ist an eine bestimmte Cloud gebunden, weil es die Funktion außerhalb dieser Cloud nicht gibt, und so dient die Erkennung zugleich als Beleg für Hosting und Anbieterkonzentration. Die Prüfung einer einzelnen Domain zeigt, dass sie heute geschützt ist. Der Export zeigt, wie sich der geschützte Bestand über Branchen und Endungen verteilt und wie schnell sich der Schutzmechanismus von einer Ausgabe der Daten zur nächsten verbreitet.