完全な登録済み全ドメインのリストを€29で
公開ウェブ上に登録されている全ドメインの完全なリストです。1,431種のTLDから409,807,815行、列は最小限、カバレッジは最大限、エクスポートは毎日更新されます。単一のJSONLファイルとしてダウンロードでき、webatlaデータベースへの最も手頃な入り口です。
✓ 毎日更新のエクスポート · ✓ すべてのアクティブドメイン · ✓ 無料の10,000行サンプル
All active domainsデータセットの内部：ライブデータサンプル
ライブデータベースから取得した実際の5行で、ダウンロードするのとまったく同じ4列のスキーマです。作り物は一切ありません。
プレースホルダーではなく、データセットから直接取得した実際の値です。 ↓ 無料の10,000行プレビュー
登録済みドメインとみなされる条件とは
行が作成されるのは、登録可能ドメイン、つまり実際に人が登録する部分のみです。すべての名前はPublic Suffix Listで正規化されるため、bbc.co.ukはco.ukの下に一度だけ保存され、ホストやサブパスとして扱われることはありません。1つの登録済みドメインにつき、行は必ず1つです。
4つの列と、それぞれが可能にすること
処理が必要なnull値はなく、手作業で導出するものもありません。構造はあえて絞り込まれているため、ファイルは小さく保たれ、結合も高速です。
リストが毎日どのように再構築されるか
毎日ゼロから再構築されるため、ドメインが有効化されてからお手元のデータに反映されるまでの差は、数か月ではなく数時間です。
クロール
候補となる名前をウェブ全体から収集します。
検証
DNS、WHOIS、RDAPを通じて、それぞれの名前が有効かどうかを確認します。
正規化
PSLを使って登録可能な境界まで畳み込みます。
重複排除
登録済みドメイン1件につき1行です。
エクスポート
1つのJSONL（zst）ファイルとして出力します。
登録済みドメインのリストに含まれるものと、含まれないもの
リストに含まれるもの
- 現在名前解決している登録済みドメイン
- DNSに応答し続けているパーキングドメインや販売中のドメイン
- すべてのgTLDとccTLD、合計1,431種類のTLD
対象外
- 名前解決しなくなった期限切れまたは削除済みのドメイン名
- サブドメインとホスト、登録可能ドメインのみ
- 委任されているが失効しているゾーンファイルのエントリ
全登録ドメインのリストを使うのは誰か
1つの日次更新ファイルを、多くのチームが活用しています。さまざまな購入者がドメインの全体像をどのように強みへ変えているかをご紹介します。
総アドレス可能市場の規模を把握
登録済みドメインの全リストを理想の顧客像のフィルターと照合してリーチ可能なアカウントの規模を把握し、ドメインが初めて名前解決したその日に新規企業を検知できます。
アローリストとデニーリストの正解データ
実際に名前解決するドメインの日次インベントリは、フィッシングやブランド悪用、タイポスクワッティングの検出において、寄せ集めのゾーンファイルより優れています。2つのスナップショットを比較すれば、新規登録ドメインを検出できます。
TLD規模で登録状況を追跡
1,431種類のTLDそれぞれに何件のドメインがあるかを確認し、レジストリ同士を比較し、日次スナップショット間のチャーンを測定できます。
在庫を実在のドメインと照合
ビッドリクエスト内のドメインが、なりすましではなく実際に登録され名前解決しているプロパティであることを、マスタードメインファイルとのインメモリ照合によって確認できます。
オープンウェブの日次センサス
1年前のクロールデータではなく、毎日更新されるドメインデータセットで、登録トレンドとネームスペースのロングテールを測定できます。
自社のゾーンをベンチマーク
自社の登録ドメインの規模をネームスペース全体と比較し、TLDとサフィックスごとのシェアを数値化できます。
ゾーンファイルやスクレイパーと、1つの整理されたリストの比較
自力でつなぎ合わせる
- ゾーンファイルへのアクセスはレジストリごとに異なり許可制で、多くのccTLDはそもそも公開していません。
- ゾーンファイルに記載されるのは委任された名前であり、実際に名前解決するドメインではないため、無効なレコードを引き継ぐことになります。
- レジストリごとにデータ形式が異なるため、十数個ものパーサーを維持管理することになります。
- 新規登録ドメインの反映は遅く、反映されないことすらあります。WHOISクロールはレート制限に直面します。
webatlaが提供する1つのファイル
- 1,431件のTLDにまたがる、名前解決可能なすべてのドメインを1つのファイルに、409.8M行で収録しています。
- 毎日再エクスポートされるため、新規登録は1日以内に反映されます。
- ドキュメント化された1つのJSONLスキーマで、そのままウェアハウスに読み込めます。
- 1か月間のアクセス権です。ルックアップ課金もレート制限もパーサーも不要です。
リストをスタックに組み込みましょう
JSON Linesとzstandardで、1行につき1オブジェクトです。入れ子構造はなく、エクスポート間でのスキーマ移行も不要です。リスト全体のスキャンも、ノートパソコンで数秒で完了します。
SELECT domain FROM 'all-active-domains.jsonl.zst'
WHERE suffix = 'com'
信頼して積み上げられる精度
掲載前に検証済み
すべての名前はリストに加わる前に、DNS、WHOIS、RDAPでライブ確認されます。そのため、失効した委任やタイプミスではなく、実在するドメインだけを取得できます。
ドメイン1件につき1行
名前はPublic Suffix Listにより登録可能な境界まで畳み込まれるため、1つのホストが別サイトとして二重に数えられることはありません。
毎日再構築
リスト全体が毎日ゼロから再生成されるため、古くなったキャッシュになることはありません。
1,431種のTLDと238か国をカバー
webatlaはすべてのTLDとすべての国にわたってドメインを追跡しています。ここではドメイン数が多い順に並べ、それぞれから完全なプロフィールへのリンクがあります。
サブスクリプション、鮮度、ライセンス、返金
登録済みドメイン一覧はどうやってダウンロードできますか。
1か月分のアクセス権を購入すると、データセットを zstandard 圧縮の JSONL ファイル1つ（1,8 GB）として取得できます。毎日再エクスポートされるため、アクセス期間中はいつでも最新のコピーを取得し、Postgres、BigQuery、Snowflake、DuckDB に直接読み込めます。
登録済みドメインとアクティブなドメインの違いは何ですか。
これは同じものを見る2つの視点です。登録済みドメインとは、レジストラの管理下にあるすべての名前を指します。アクティブなドメインは、それに加えて DNS で名前解決されるものです。このデータセットは登録済みかつアクティブな名前だけを収録しているため、生のレジストリファイルに含まれるような無効なエントリを避けられます。
データセットには何件のドメインが含まれていますか。
現在のエクスポートには、1,431個のTLD、8,781個のパブリックサフィックスにまたがる409,807,815件のアクティブドメインが含まれています。名前の増減により数値は毎日変動し、日次の各スナップショットが最新の状態を反映します。
データはどのくらい最新ですか。
完全なデータセットは毎日新しいクロールから再エクスポートされるため、ウェブの実際の状態から乖離することはありません。アクセス月内であれば、追加費用なしで最新のスナップショットを何度でも好きなときに再ダウンロードできます。
新規登録ドメインのフィードは取得できますか。
はい。2つの日次スナップショットを比較してください。今日のファイルにあって昨日のファイルにない名前が、新規登録（または新たに名前解決を開始した）ドメインです。逆に、消えた名前を見れば離脱も把握できます。これは実現できる中で最もシンプルなネットニューフィードです。
パーキングドメイン、期限切れドメイン、サブドメインのエントリは含まれますか。
まだ名前解決されているパーキングドメインや販売中のドメインは、有効な実在の登録であるため収録されています。期限切れの名前は名前解決が止まった時点でリストから除外され、サブドメインは一切含まれません。各行はちょうど1つの登録可能ドメインに対応し、Public Suffix List に基づいて正規化されています。
登録済み全ドメインのリストをTLDや国で絞り込むにはどうすればよいですか。
各行にはTLDとPublic Suffixが含まれているため、1行のWHERE句だけで.com、.io、特定のccTLD、任意のサフィックスグループにデータを絞り込めます。国別・技術別の分析を行う場合は、登録可能ドメインのキーを使ってこのデータセットを他のwebatlaデータセットと結合してください。
どの形式で提供されますか。
JSON Lines形式で、zstandard圧縮済み（1,8 GB）、1行につき1オブジェクトの安定したドキュメント化済みスキーマです。ファイルはPostgres、BigQuery、Snowflake、DuckDBに直接読み込めます。また1行に1件のエントリしかないため、ファイル全体をメモリに読み込むことなくストリーミングしながら絞り込めます。
アクセスはどのような仕組みですか。
1か月分のアクセス権、または€290で1年分のアクセス権が付与されます。この期間内であれば、最新の日次エクスポートを何度でもダウンロードでき、期間が終了すると同時にアクセスも終了します。
後でより大きなデータセットに切り替えることはできますか。
はい。他のwebatlaデータセットはすべて、このデータセットの上位互換です。必要な列を選び、サポートまでご連絡いただければ、残りのアクセス期間分を充当します。
支払い後、データはどのように受け取れますか？
お支払いが確認され次第、データセットはアカウントのダウンロード欄に表示されます。1ヶ月間のアクセス期間中は、最新の日次エクスポートを何度でも再ダウンロードできます。
データを商用利用できますか？
はい。組織内での商用利用はwebatlaのデータライセンスの対象です（利用規約をご確認ください）。再配布、転売、複数年ライセンスについては、事前にお問い合わせください。
返金には対応していますか？
データセットはデジタル製品のため、すべての販売は最終的なものとなります。だからこそ、すべてのデータセットには無料の10,000 行プレビューが用意されており、購入前にスキーマを確認できます。唯一の例外は、破損したファイル、誤ったスキーマ、5%を超える行の欠落といった重大な不具合がある場合です。72時間以内にサポートへご連絡いただければ、ファイルの再提供または購入代金の返金を行います。
登録済みドメイン全件の完全なリストをダウンロード
全ドメイン宇宙を1,8 GBに凝縮・日次更新のエクスポート・€29で1か月。