Websites herunterladen, die Cloudflare Bot Management nutzen

Über Cloudflare Bot Management

Eine Schutzmaßnahme zu zählen, die unauffällig sein soll, ist ein seltsames Unterfangen. Anfragen werden am Edge bewertet, bevor sie überhaupt den Origin-Server erreichen, und was in einer gewöhnlichen Antwort zurückkommt, ist deshalb indirekt: ein Bewertungs-Cookie, ein Challenge-Pfad, ein Header, der auf dem Rückweg hinzugefügt wird. Wer Cloudflare Bot Management erfasst, liest diese Überreste und kein Skript, das jemand in ein Template eingefügt hat.

Der Einsatz verrät deshalb für eine Sicherheitsmaßnahme ungewöhnlich viel Kommerzielles. Bot-Abwehr dieser Klasse ist keine Funktion des kostenlosen Tarifs und nichts, was ein Entwickler einschaltet, während niemand hinsieht. Jemand hat einen Vertrag unterschrieben, und in den meisten Organisationen ging es im selben Gespräch auch um eine Firewall, um Rate Limiting und um eine Supportvereinbarung. Eine Domain, die das Produkt zeigt, hat ein Sicherheitsbudget, einen Betreiber, der mindestens einmal von Scraping oder Credential Stuffing getroffen wurde, und einen Beschaffungsprozess, der über die Hosting-Rechnung hinausgeht.

Stand Oktober 2026 verzeichnet der Datensatz das Produkt auf 3.227.299 Websites. 2.542.858 davon verorten wir in den USA. Unter den Domains ist die Endung .com stark vertreten. Die Häufung in einem Land und bei einer Endung sagt weniger darüber aus, wo automatisierter Traffic ein Problem ist, als darüber, wo der Anbieter Cloudflare Inc. verkauft und wo große kommerzielle Websites registriert werden. Ticketing, Reisen, Handel und Finanzdienstleistungen ballen sich aus demselben Grund an denselben Orten.

Das Produkt ist seit 2019 erhältlich und steht unter der Lizenz Proprietary, was hier mehr Gewicht hat als das Lizenzfeld sonst. Es gibt kein selbst gehostetes Gegenstück, das man installieren könnte, und keinen offenen Fork, den man übernehmen könnte. Ein Treffer sagt daher etwas über eine Lieferantenbeziehung aus und nicht über eine technische Entscheidung, die ein Team intern nachbauen könnte. Websites verlieren die Markierung, wenn sie den Anbieter verlassen, was die Spalte zu einem brauchbaren Indikator für Zu- und Abgänge bei Großkunden macht.

Bei der Erkennung gibt es eine Untergrenze, die man nennen sollte, bevor jemand eine Prognose auf die Zahl baut. Eine gut abgestimmte Installation, die gewöhnlichem Browser-Traffic nie eine Challenge stellt, kann nahezu stumm bleiben, und unser Crawler ist ein höflicher Client, der oft einfach durchgewunken wird. Wir erfassen das Produkt dort, wo in der Antwort, die wir erhalten, produktspezifische Signale auftauchen, und wir leiten es nicht schon aus der bloßen Tatsache ab, dass eine Website über den Anbieter Cloudflare Inc. läuft, denn das gewöhnliche Auslieferungsnetz und das Bot-Produkt werden getrennt gekauft. Die Folge ist eine Untererfassung und keine Falschtreffer. Websites auf der Liste sind Websites, bei denen der Nachweis tatsächlich vorlag.

Zwei Zielgruppen nutzen den Bestand in entgegengesetzter Richtung. Sicherheitsanbieter lesen ihn als Wettbewerbslandkarte, denn eine Domain, die bereits für kommerzielle Bot-Abwehr zahlt, hat eingeräumt, dass das Problem real ist, und hat einen Verlängerungstermin im Kalender. Daten-, Pricing- und Integrationsteams lesen ihn als Landkarte der Hürden, denn auf einer Website, die automatisierten Traffic bewertet, müssen Partnerzugänge, Preisbeobachtung und Datenerhebungen jeder Art vereinbart werden und lassen sich nicht einfach voraussetzen. Compliance- und Einkaufsteams nutzen ihn auf eine dritte Art und prüfen, welche Lieferanten in einem Portfolio Schutzmaßnahmen einsetzen, die mit ihren eigenen vergleichbar sind.

Ein Abfragedienst prüft einen Hostnamen und liefert ein Ja oder ein Nein. Die Fragen, die einen Datensatz rechtfertigen, sind anders gebaut: welches Segment einer Branche Bot-Abwehr am Edge eingeführt hat, wie stark sich der Anteil innerhalb eines Jahres verschoben hat, welche Hosting-Anbieter und Registrare überrepräsentiert sind und was sonst noch auf den Websites läuft, die sie eingeführt haben. Der Download beantwortet diese Fragen in einem Durchgang, mit Land, Endung, Vergleichsprodukten aus der Kategorie Security und dem übrigen erkannten Stack jeder Website in derselben Zeile wie die Markierung selbst.