webatlabot について

1クローラーを識別する方法

クローラーのすべてのリクエストには、上記のとおりの User-Agent 文字列と From ヘッダーが付きます。通信は上記の 2 つのアドレスからのみ発信され、それ以外のアドレスからは発信されません。

2クローラーが行うことと行わないこと

• ✓ブラウザーと同じ方法で、HTTP および HTTPS 経由で公開ページを取得します。
• ✓返された HTML とレスポンスヘッダーを読み取り、サイトが利用しているソフトウェアを判定します。
• ✓通常のリダイレクトをたどり、最終的な URL を記録します。
• ✗フォームの送信、ログイン、いかなる認証の試行も行いません。
• ✗ポートスキャンを行わず、脆弱性の探索も行いません。
• ✗JavaScript を実行せず、ページから個人データを収集しません。

3リクエストが本当に当社からのものかを確認する方法

当社の 2 つのアドレスはいずれも逆引き DNS が crawl.webatla.com を指しており、そのホスト名は同じ 2 つのアドレスに正引きで戻ります。リクエストを信頼する前に、両方向を確認してください。

# IPv4 アドレスの逆引き
dig -x 46.224.210.134 +short
crawl.webatla.com.

# 正引きは同じアドレスを返す必要があります
dig +short crawl.webatla.com
46.224.210.134

# IPv6 についても同じ確認
dig -x 2a01:4f8:1c19:79a5::1 +short
crawl.webatla.com.

4見覚えのないアドレスにクローラーが接続した理由

クローラーは公開されているドメイン一覧と DNS をもとに動作します。あるドメインが依然としてお客様の IP アドレスを指している場合、そのドメインがすでにお客様と無関係であっても、クローラーはそのアドレスに接続します。

これが予期しないアクセスの一般的な原因です。以前の顧客が移転した際に A または AAAA レコードをお客様の範囲に向けたまま残した、あるいはパーキングドメインがその後お客様が引き継いだホストに解決している、といったケースです。

アドレスとあわせてドメイン名をお送りいただければ、何が起きたのかを確認いたします。古い DNS レコードを元から修正すれば、当社のクローラーだけでなくすべてのクローラーが停止します。

5クローラーを停止する方法

ブロックは直ちに有効になり、当社側での対応は不要です。User-Agent 内の webatlabot というトークン、または上記の 2 つのアドレスで照合してください。

# User-Agent によるブロック (Apache)
SetEnvIfNoCase User-Agent "webatlabot" bad_bot
Deny from env=bad_bot

# アドレスによるブロック (Linux ファイアウォール)
iptables -A INPUT -s 46.224.210.134 -j DROP
ip6tables -A INPUT -s 2a01:4f8:1c19:79a5::1 -j DROP

下記のアドレスにご連絡いただき、お客様のドメインまたはアドレス範囲の除外をご依頼いただくこともできます。除外のご依頼は 1 営業日以内に対応し、変更が有効になった時点でメールでご連絡します。

6連絡先

このアドレスは担当者が確認しています: abuse@webatla.com

• •該当するドメイン名または IP アドレス
• •タイムスタンプとタイムゾーンを含むログの数行
• •ご希望の対応 (ドメインのブロック、範囲の除外、特定のリクエストについての説明など)
• •返信可能なアドレス