ドメインを含むあらゆるものを、 JSONLファイル1つで強化します
425M件の稼働ドメインを対象に、DNS、WHOIS、技術情報、ランキングシグナルを1行ずつ、毎日再構築して提供します。完全版エクスポートは€599です。モデルを学習し、レコードをスコアリングし、その上に独自のデータプロダクトを構築できます。
あなたのパイプライン、私たちのファイル
実際のスキーマに基づく4つのレシピです。以下の各キーは、エクスポートに実際に含まれるものと完全に一致します。どのレシピも無料の10,000行サンプルで実行できます。稼働中のドメインだけを残すには、「DNS Status」が「TRUE」の行を選んでください。
DomainTLDDomain typeHTTP statusIP addressCountry by IPTechnologiesDNS recordsPR valueHarmonic valueRegistrarDomain creation dateDomain expiration dateRDAP/WHOIS Record
ファイルから直接作るリードリスト
MX レコードを公開しているすべての WordPress サイトを、エクスポートから直接ストリーミングします。ディスクには何も書き込まれません。
# Technologies ships as a list of names, or a name-to-version map. # One line normalizes both shapes. zstdcat webatla-all-data-2026-11-16.jsonl.zst | jq -c 'def techs: (.Technologies // []) | if type == "object" then keys else . end; select(techs | index("WordPress")) | select((."DNS records" // {}) | has("MX")) | {domain: .Domain, tld: .TLD, rank: ."PR value"}' \ > wordpress-with-mail.jsonl
TLD 別のテクノロジー採用状況
1,429件の TLD にまたがって、ロード処理なしで直接ファイル上で集計します。DuckDB は technology フィールドを JSON として読み込むため、まず型を確認してください。
SELECT "TLD", count(*) AS domains FROM read_json('webatla-all-data-2026-11-16.jsonl.zst', format='newline_delimited', compression='zstd', columns={'TLD':'VARCHAR', 'Technologies':'JSON'}) WHERE list_contains( CASE json_type("Technologies") WHEN 'ARRAY' THEN json_extract_string("Technologies", '$[*]') WHEN 'OBJECT' THEN json_keys("Technologies") ELSE []::VARCHAR[] END, 'WordPress') GROUP BY "TLD" ORDER BY domains DESC LIMIT 20;
ドメインキーによる CRM のエンリッチメント
エクスポートに対して、独自のレコードを LEFT JOIN してください。国、ランク、スタックが、既存の各行の横に追加されます。
SELECT c.*, w."Country by IP", w."PR value", w."Registrar" FROM 'crm.csv' c LEFT JOIN ( SELECT "Domain", "Country by IP", "PR value", "Registrar" FROM read_json('webatla-all-data-2026-11-16.jsonl.zst', format='newline_delimited', compression='zstd', columns={'Domain':'VARCHAR', 'Country by IP':'VARCHAR', 'PR value':'DOUBLE', 'Registrar':'VARCHAR'}) ) w ON lower(c.domain) = w."Domain";
ノートパソコンでの一定メモリ処理
425,938,876行すべてを、ファイルを RAM に保持せずにストリーミングします。特徴量を作成し、スコアリングし、書き出します。
import io, json, zstandard as zstd with open("webatla-all-data-2026-11-16.jsonl.zst", "rb") as f: for line in io.TextIOWrapper(zstd.ZstdDecompressor().stream_reader(f)): r = json.loads(line) t = r.get("Technologies") or [] names = list(t) if isinstance(t, dict) else t if "WordPress" in names and (r.get("DNS records") or {}).get("MX"): print(r["Domain"], r.get("Registrar"))
レシピ1とレシピ4は、2つのエンジンで実行される同じクエリであり、同じエクスポートに対して同じ行を返します。1つのフィルターを2つのツールで突き合わせて確認することが、これをもとに構築するどんなパイプラインも検証する方法です。
これでプロダクトを作れますか?はい
ルールは一つだけです。データはあらゆる適法な目的にお使いいただけます。データの上にプロダクトを構築して販売することも、行データそのものを再販することもできます。
はじめから許可されています
- 自社のレコードや顧客のレコードを拡充すること
- モデルを学習させ、スコアや分類、判定結果を販売すること
- 自社プロダクト内のルックアップや機能を支えること
- 集計したインサイトや調査、レポートを公開すること
作ったものの権利はあなたのものです。データセットの購入で得られるのはライセンスであり、その基になるデータベースそのものではありません。
all-dataから始める再販も認められています
- 生データセットの全部または一部を再販・再配布すること
- エクスポートを第三者にサブライセンスすること
個別の契約も追加料金も不要です。お客様の唯一の義務は、スパム対策法やデータ保護法など、お客様の利用に適用される法律を守ることです。
ご質問はこちらから判断の基準は、お客様の利用が適法かどうかだけです。作ったものを販売することも、行データそのものを販売することも、どちらも問題ありません。正式な条文は利用規約に記載しています。
これが売上原価に与える影響
従量課金型のエンリッチメント料金は利用量に応じて増加するため、成功すればするほどマージンが縮小します。フラットファイルにはその問題がありません。
データ費用は実質ゼロになります
完全なレコード100万件につき€1.41という価格になれば、基盤データのコストは最適化する価値のある項目ではなくなります。
コストが利用量に連動しなくなります
製品が成長してもマージンが縮小することはなくなります。ファイルは1回照会しても10億回照会しても同じ料金です。
お好みで小さく始めることもできます
all-active-domainsは、フルネームスペースで€29です。まずパイプラインを検証し、その後すべての列を取得してください。
すでにデータがある場所にそのまま収まります
改行区切りのJSONファイル1つを標準的な圧縮形式で提供します。SDKも独自形式もベンダー専用クライアントも不要です。
jqとシェル
ファイルをストリーミングしながらフィルタリングします。ディスクに全体を書き出す必要は一切ありません。
DuckDBとClickHouse
どちらも改行区切りのJSONを、圧縮されたまま直接読み込みます。列を宣言すれば、幅広い行での型推論をスキップできます。
Sparkとpandas
標準的なJSONLリーダーです。チャンクに分けても、ストリームで読んでも、スキーマはすべての行で同じです。
BigQuery
BigQueryは無圧縮のNDJSONを読み込むため、取り込み時に解凍するか、先にファイルをストレージに置いてください。
PolarsとArrow
ファイルを遅延評価でスキャンし、実体化される前にフィルタリングします。結果はそのままArrowに渡せます。
SnowflakeとDatabricks
どちらもオブジェクトストレージから改行区切りのJSONを取り込めます。ファイルを一度置いたら、ステージまたはボリュームをそこに向けるだけです。
エンジニアが実際に聞く質問
はぐらかさずに答えます。
スキーマはエクスポート間で安定していますか?
はい、キーとその意味は毎日の再構築を通じて変わらず、ドキュメント化されています。パーサーを書く前に知っておくべき形式がいくつかあります。Technologies は名前のリストとして、またはバージョンを検出した場合は名前からバージョンへのマップとして届きます。DNS records はレコードタイプをキーとするオブジェクトです。各レコードタイプはリストで、SOA のみ1つのオブジェクトです。派生フィールドは文字列、真偽値、オブジェクトのいずれかです。値がないフィールドは省略されるのではなく null として届くため、すべての行が同じキーを持ちます。
データはどれくらい新しいですか?
すべてのデータセットは毎日再構築されます。アクセス権には暦月1か月分の再ダウンロードが含まれるため、パイプラインが必要とする頻度で最新のエクスポートを取得できます。
これを自社で販売する製品に組み込めますか?
はい。エンリッチメント、スコア、分類、ルックアップ、集計インサイト、そして生の行データそのものも、利用が法律に従っている限り、すべて販売できます。上記の ライセンスのセクション を参照してください。
レコードに含まれるもの、含まれないもの
公開されている登録情報、DNS、テクノロジーの記録です。データセットは、登録者名、メールアドレス、電話番号といった連絡先の個人情報を含むようには設計されておらず、私たちはそれを除外するための対策を講じています。万一、行の中に個人データを見つけた場合は、法律に従って個人データとして取り扱い、私たちにお知らせください。
テストするために30 GB をダウンロードする必要がありますか?
いいえ。すべてのデータセットには、無料アカウント登録で利用できる10,000行サンプルがあります。付属の bearer API も、TLD、国、テクノロジーのいずれか1つのスライスを一度に、1分あたり240リクエストで提供します。
実データ10,000行でレシピを実行
必要なのは無料アカウントだけです。サンプルがパイプラインで問題なくパースできれば、完全版のエクスポートは€599で、スキーマは変わりません。