Über webatlabot
webatlabot ist der Webcrawler von webatla. Er ruft öffentliche Webseiten auf und erfasst, welche Technologien eine Website einsetzt. Wenn Sie über einen User-Agent-Eintrag in Ihren Logs hierhergekommen sind, finden Sie auf dieser Seite alles, um den Crawler zu identifizieren, zu prüfen oder zu blockieren.
Zuletzt aktualisiert 2026-08-24
1So erkennen Sie den Crawler
Mozilla/5.0 (compatible; webatlabot/1.0; +https://webatla.com/bot; abuse@webatla.com)From: abuse@webatla.com46.224.210.134 → crawl.webatla.com2a01:4f8:1c19:79a5::1 → crawl.webatla.comJede Anfrage des Crawlers trägt genau diese User-Agent-Zeichenfolge und genau diesen From-Header. Der Verkehr kommt von den beiden Adressen oben und von keinen anderen.
2Was der Crawler tut und was nicht
- ✓Ruft öffentliche Seiten über HTTP und HTTPS ab, genauso wie ein Browser.
- ✓Liest das zurückgegebene HTML und die Response-Header aus, um die eingesetzte Software zu bestimmen.
- ✓Folgt gewöhnlichen Weiterleitungen und speichert die endgültige URL.
- ✗Sendet keine Formulare ab, meldet sich nicht an und versucht keinerlei Authentifizierung.
- ✗Scannt keine Ports und sucht nicht nach Schwachstellen.
- ✗Führt kein JavaScript aus und erhebt keine personenbezogenen Daten von Seiten.
3So prüfen Sie, ob eine Anfrage wirklich von uns stammt
Beide Adressen haben ein Reverse-DNS auf crawl.webatla.com, und dieser Hostname löst wieder auf dieselben beiden Adressen auf. Prüfen Sie beide Richtungen, bevor Sie einer Anfrage vertrauen.
# Reverse-Lookup für die IPv4-Adresse dig -x 46.224.210.134 +short crawl.webatla.com. # der Forward-Lookup muss dieselbe Adresse liefern dig +short crawl.webatla.com 46.224.210.134 # dieselbe Prüfung für IPv6 dig -x 2a01:4f8:1c19:79a5::1 +short crawl.webatla.com.
Eine User-Agent-Zeichenfolge allein beweist nichts. Unseren User-Agent kann jeder senden. Wenn eine Anfrage sich als webatlabot ausgibt, die Adresse die obige Prüfung aber nicht besteht, sind wir das nicht, und wir würden gern davon erfahren.
Beachten Sie: crawl.webatla.com ist nur der Crawler-Host. Diese Seite und der übrige Auftritt werden von anderen Adressen hinter einem CDN ausgeliefert, eine Abfrage von webatla.com stimmt daher nicht überein.
4Warum der Crawler eine Adresse erreicht hat, die Sie nicht zuordnen können
Der Crawler arbeitet mit öffentlichen Domainlisten und mit DNS. Zeigt eine Domain weiterhin auf Ihre IP-Adresse, verbindet sich der Crawler mit dieser Adresse, auch wenn die Domain längst nichts mehr mit Ihnen zu tun hat.
Das ist die übliche Erklärung für einen unerwarteten Zugriff. Ein früherer Kunde ist umgezogen und hat einen A- oder AAAA-Eintrag auf Ihren Bereich zurückgelassen, oder eine geparkte Domain löst auf einen Host auf, den Sie inzwischen übernommen haben.
Schicken Sie uns den Domainnamen zusammen mit der Adresse, dann bestätigen wir Ihnen, was passiert ist. Den veralteten DNS-Eintrag an der Quelle zu korrigieren stoppt jeden Crawler, nicht nur unseren.
5So stoppen Sie den Crawler
Eine Sperre wirkt sofort und braucht nichts von uns. Filtern Sie auf das User-Agent-Token webatlabot oder auf die beiden Adressen.
# Sperre über User-Agent (Apache) SetEnvIfNoCase User-Agent "webatlabot" bad_bot Deny from env=bad_bot # Sperre über Adresse (Linux-Firewall) iptables -A INPUT -s 46.224.210.134 -j DROP ip6tables -A INPUT -s 2a01:4f8:1c19:79a5::1 -j DROP
Sie können uns auch an die Adresse unten schreiben und darum bitten, Ihre Domains oder Ihren Adressbereich auszuschließen. Wir bearbeiten Ausschlussanfragen innerhalb eines Werktags und bestätigen per E-Mail, sobald die Änderung aktiv ist.
6Kontakt
An dieser Adresse liest ein Mensch mit: abuse@webatla.com
- •Die betroffene Domain oder IP-Adresse
- •Ein paar Logzeilen mit Zeitstempeln und Zeitzone
- •Was wir tun sollen (eine Domain sperren, einen Bereich ausschließen oder eine bestimmte Anfrage erklären)
- •Eine Adresse, an die wir antworten können