Про webatlabot
webatlabot — це вебкраулер, який працює від імені webatla. Він відвідує публічні вебсторінки і фіксує, на яких технологіях працює сайт. Якщо ви потрапили сюди з рядка User-Agent у своїх логах, на цій сторінці є все потрібне, щоб ідентифікувати, перевірити або заблокувати краулер.
Оновлено 2026-08-24
1Як розпізнати краулер
Mozilla/5.0 (compatible; webatlabot/1.0; +https://webatla.com/bot; abuse@webatla.com)From: abuse@webatla.com46.224.210.134 → crawl.webatla.com2a01:4f8:1c19:79a5::1 → crawl.webatla.comКожен запит краулера містить саме цей рядок User-Agent і саме цей заголовок From. Трафік іде з двох адрес вище і більше з жодних інших.
2Що краулер робить і чого не робить
- ✓Запитує публічні сторінки через HTTP і HTTPS так само, як це робить браузер.
- ✓Читає отриманий HTML і заголовки відповіді, щоб визначити, на якому програмному забезпеченні працює сайт.
- ✓Переходить за звичайними редиректами і зберігає кінцевий URL.
- ✗Не надсилає форми, не входить в акаунти і не намагається пройти жодну автентифікацію.
- ✗Не сканує порти і не шукає вразливостей.
- ✗Не виконує JavaScript і не збирає персональні дані зі сторінок.
3Як перевірити, що запит справді від нас
Обидві наші адреси мають зворотний DNS на crawl.webatla.com, а це імʼя розвʼязується назад у ті самі дві адреси. Перевіряйте обидва напрямки, перш ніж довіряти запиту.
# зворотний запит для адреси IPv4 dig -x 46.224.210.134 +short crawl.webatla.com. # прямий запит має повернути ту саму адресу dig +short crawl.webatla.com 46.224.210.134 # така сама перевірка для IPv6 dig -x 2a01:4f8:1c19:79a5::1 +short crawl.webatla.com.
Сам по собі рядок User-Agent нічого не доводить. Наш User-Agent може надіслати будь-хто. Якщо запит видає себе за webatlabot, але адреса не проходить перевірку вище, це не ми, і ми будемо вдячні за повідомлення.
Зверніть увагу: crawl.webatla.com — це тільки хост краулера. Ця сторінка і решта сайту віддаються з інших адрес за CDN, тому запит до webatla.com не збігатиметься.
4Чому краулер звернувся до адреси, якої ви не впізнаєте
Краулер працює за публічними переліками доменів і за DNS. Якщо домен досі вказує на вашу IP-адресу, краулер підключиться саме до неї, навіть коли цей домен уже не має до вас жодного стосунку.
Це найчастіше пояснення несподіваного візиту. Колишній клієнт пішов, але залишив запис A або AAAA, спрямований на ваш діапазон, або припаркований домен розвʼязується на хост, який ви відтоді перебрали.
Надішліть нам імʼя домену разом з адресою, і ми підтвердимо, що сталося. Виправлення застарілого DNS-запису біля джерела зупиняє всі краулери, а не лише наш.
5Як зупинити краулер
Блокування діє одразу і не потребує нічого з нашого боку. Зіставляйте за токеном webatlabot у User-Agent або за двома адресами.
# блокування за User-Agent (Apache) SetEnvIfNoCase User-Agent "webatlabot" bad_bot Deny from env=bad_bot # блокування за адресою (фаєрвол Linux) iptables -A INPUT -s 46.224.210.134 -j DROP ip6tables -A INPUT -s 2a01:4f8:1c19:79a5::1 -j DROP
Ви також можете написати на адресу нижче і попросити виключити ваші домени або ваш діапазон адрес. Ми опрацьовуємо запити на виключення протягом одного робочого дня і підтверджуємо поштою, коли зміна набуде чинності.
6Контакт
Цю адресу читає людина: abuse@webatla.com
- •Домен або IP-адреса, про які йдеться
- •Кілька рядків логу з часовими мітками і часовим поясом
- •Що ви хочете від нас (заблокувати домен, виключити діапазон або пояснити конкретний запит)
- •Адреса, на яку ми можемо відповісти