webatlabot 안내

1크롤러를 식별하는 방법

크롤러의 모든 요청에는 위와 정확히 동일한 User-Agent 문자열과 From 헤더가 포함됩니다. 트래픽은 위의 두 주소에서만 발생하며 다른 주소에서는 발생하지 않습니다.

2크롤러가 하는 일과 하지 않는 일

• ✓브라우저와 동일한 방식으로 HTTP 및 HTTPS를 통해 공개 페이지를 요청합니다.
• ✓반환된 HTML과 응답 헤더를 읽어 사이트가 사용하는 소프트웨어를 판별합니다.
• ✓일반적인 리디렉션을 따라가며 최종 URL을 기록합니다.
• ✗양식을 제출하거나 로그인하지 않으며, 어떠한 인증도 시도하지 않습니다.
• ✗포트를 스캔하지 않으며 취약점을 탐색하지 않습니다.
• ✗JavaScript를 실행하지 않으며 페이지에서 개인 데이터를 수집하지 않습니다.

3요청이 실제로 저희에게서 온 것인지 확인하는 방법

저희 두 주소는 모두 역방향 DNS가 crawl.webatla.com을 가리키며, 이 호스트 이름은 다시 동일한 두 주소로 정방향 조회됩니다. 요청을 신뢰하기 전에 양방향을 모두 확인하십시오.

# IPv4 주소에 대한 역방향 조회
dig -x 46.224.210.134 +short
crawl.webatla.com.

# 정방향 조회는 동일한 주소를 반환해야 합니다
dig +short crawl.webatla.com
46.224.210.134

# IPv6에 대한 동일한 확인
dig -x 2a01:4f8:1c19:79a5::1 +short
crawl.webatla.com.

4크롤러가 알 수 없는 주소로 접속한 이유

크롤러는 공개된 도메인 목록과 DNS를 기반으로 동작합니다. 어떤 도메인이 여전히 귀하의 IP 주소를 가리키고 있다면, 그 도메인이 이미 귀하와 아무 관련이 없더라도 크롤러는 해당 주소로 접속합니다.

예상치 못한 접속의 일반적인 원인이 바로 이것입니다. 이전 고객이 떠나면서 귀하의 대역을 가리키는 A 또는 AAAA 레코드를 남겨두었거나, 파킹된 도메인이 이후 귀하가 인수한 호스트로 연결되는 경우입니다.

주소와 함께 도메인 이름을 보내주시면 무슨 일이 있었는지 확인해 드리겠습니다. 오래된 DNS 레코드를 원본에서 수정하면 저희 크롤러뿐 아니라 모든 크롤러가 중단됩니다.

5크롤러를 차단하는 방법

차단은 즉시 적용되며 저희 쪽 조치가 필요하지 않습니다. User-Agent의 webatlabot 토큰이나 위의 두 주소를 기준으로 필터링하십시오.

# User-Agent 기준 차단 (Apache)
SetEnvIfNoCase User-Agent "webatlabot" bad_bot
Deny from env=bad_bot

# 주소 기준 차단 (Linux 방화벽)
iptables -A INPUT -s 46.224.210.134 -j DROP
ip6tables -A INPUT -s 2a01:4f8:1c19:79a5::1 -j DROP

아래 주소로 연락하여 귀하의 도메인이나 주소 대역을 제외해 달라고 요청하실 수도 있습니다. 제외 요청은 영업일 기준 1일 이내에 처리하며, 변경이 적용되면 이메일로 확인해 드립니다.

6연락처

이 주소는 담당자가 직접 확인합니다: abuse@webatla.com

• •관련된 도메인 이름 또는 IP 주소
• •타임스탬프와 시간대가 포함된 로그 몇 줄
• •저희가 해주길 원하시는 조치 (도메인 차단, 대역 제외, 특정 요청에 대한 설명 등)
• •회신 가능한 주소