よくある質問
webatlaのデータセット、サブスクリプションなしのモデル、フォーマット、請求、プライバシーについてのすべてをご紹介します。
はじめに
基本情報(webatlaとは何か、どのように機能するか、誰のためのものか)。
webatlaとは何ですか?
webatlaはグローバルなドメインデータベースです。ウェブ上のすべてのアクティブなドメイン(そのうち409,8 百万件)を対象にクロール、分類、エンリッチを行い、その結果を構造化されたJSON Linesデータセット(zstd 圧縮)としてご自身でダウンロードして処理できる形で提供します。
ログインして使うクエリ用のUIはありません。データセットを購入してファイルをダウンロードするか、ダウンロードAPI 経由でプログラムから取得します。
誰のためのものですか?
主に4種類のチームが対象です。
- リサーチ&データ: アナリスト、MLチーム、ウェブ動向を計測する学術研究者
- 成長&営業: リードリストの構築(「ドイツにあるすべてのShopifyストア」など)
- セキュリティ&脅威インテリジェンス: なりすましドメインや新規登録、リスクの高い技術スタックの追跡
- ドメイン投資家: トラフィックとランクを備えた期限切れ間近のドメインの発掘
購入前に試すにはどうすればいいですか?
すべてのデータセットに、無料の10,000行サンプルダウンロードが用意されています。スキーマはフルファイルと同じで、サインアップは不要です。データセットを見ると、サンプルを入手できます。
購入後どれくらいでデータが届きますか?
即時です。ダウンロードリンクは注文確認ページに表示され、数秒以内にメールでも届きます。10GBを超えるデータセットはダウンロード中にストリーミングされるため、エクスポート処理の完了を待つ必要はありません。
データセット&データ
中身、収集方法、更新頻度について。
どのデータセットを販売していますか?
コアとなる6つのデータセットに加えて、特別オファーが1つあります。
- All active domains · €29 · 4.1億行
- Active websites + Ranking · €99 · 3.1億行
- Technologies · €159 · 2.9億行
- DNS · €199 · 3.5億行
- RDAP & WHOIS · €299 · 3.9億行
- All data · €599 · 4.1億行 · すべて含む
- Domain Investor · €299 · ランク付きの期限切れ・期限間近ドメイン
詳細はすべて料金ページに掲載しています。
データの更新頻度はどれくらいですか?
毎日、すべてのデータセットの最新エクスポートを生成しています。アクセス期間中は、いつでも最新バージョンをダウンロードできます。
データの出所はどこですか?
複数のソースを組み合わせています。
- ゾーンファイルを公開している全TLDの公開ゾーンファイル
- 自社リゾルバーによるアクティブなDNS解決
- 公開されているRDAPおよびWHOISエンドポイント
- 技術フィンガープリンティング用の自社クローラー(HTTPヘッダー、HTMLマーカー、JSヒューリスティクス)
- 公開されているランキングシグナル(PageRank、Harmonic Centrality)
技術検出の精度はどれくらいですか?
広く普及しているプラットフォーム(WordPress、Shopify、Cloudflare、Google Analytics)では、精度はおおむね99%です。ロングテールや自己ホスト型のツールは92〜95%程度です。誤検知のほとんどは、同じフィンガープリントを使うホワイトレーベルの再販業者によるものです。
ファイルサイズはどれくらいですか?
ファイルサイズはデータセットごとに異なり、時間とともに増加するため、ここでは固定の数値は示していません。現在の圧縮後サイズは、各データセットのページとチェックアウト画面に表示されます。
ファイルはJSON Lines 形式で、zstd 圧縮(.jsonl.zst)されています。解凍すると数倍のサイズになるため、ディスク容量はそれを見込んで計画してください。
スキーマのドキュメントはありますか?
無料の10,000行サンプル(プレーンな.jsonl)で正確なスキーマを確認できます。データ型を含む完全な列のリファレンスはAPIページにあります。列名は変わりません。新しい列は末尾に追加され(並び順が変わることはありません)、ローダーが壊れることはありません。
料金&請求
支払い、更新、返金の仕組みについて。
本当にサブスクリプションではないのですか?
その通りです。すべてのデータセットは一回限りの購入です。自動更新は行わず、明示的に同意いただかない限りカード情報を保存することもありません。アクセス権は自動的に失効し、更新するかどうかはお客様が決めます。
「1か月」のアクセスとはどういう意味ですか?
購入した瞬間から暦上の1か月間、その期間に公開される毎日の最新エクスポートも含めて、データセットを何度でもダウンロードできます。期限が切れると、ダウンロードリンクは使用できなくなります。
年間オプションはどういう仕組みですか?
仕組みは同じで、期間だけが長くなります。月額料金の10倍を支払うことで丸1年分のアクセス権が得られ、毎月更新する場合と比べて2か月分お得です。こちらも一回限りの購入で、自動更新はありません。
どの支払い方法に対応していますか?
クレジットカードおよびデビットカード(Visa、Mastercard、Amex)、Apple Pay、Google Pay、SEPA 口座振替、銀行振込(€500を超える注文の場合)をご利用いただけます。決済はすべてStripe 経由で処理されます。
返金には対応していますか?
いいえ。データセットはデジタル商品であり、すべての販売は最終確定となります。 そのため、すべてのデータセットには無料の10,000行プレビュー(フルファイルと全く同じ スキーマ・品質)が付属しており、チェックアウト時にプレビューを確認済みであることの確認をお願いしています。 決済が完了すると、ダウンロードリンクは即座に届きます。
唯一の例外は重大な欠陥がある場合です。スキーマの誤り、破損または不正な形式のファイル、掲載件数に対して5%を 超える行の欠落などです。その場合は72時間以内にsupport@webatla.com までメールでご連絡ください。再発行または返金のいずれかで対応します。
EU法(§312g(2)(13) BGB)により、14日間のクーリングオフ権は、お客様が明示的に受領に同意した即時提供のデジタルコンテンツ には適用されません。チェックアウト時に「プレビューを確認済み」のチェックボックスを選択することが、その同意にあたります。
暗号資産には対応していますか?
はい。BTC、ETH、USDTなどの暗号資産での決済に対応しており、専用の暗号資産チェックアウトからお支払いいただけます。決済が確認されると、アクセス権は自動的に有効になります。
銀行振込や、大口注文向けの請求書後払いをご希望の場合はお問い合わせください。
データセットを切り替えることはできますか?
各データセットは個別の購入となるため、別のデータセットに切り替える場合は新規購入が必要です。アップグレード分の差額精算はありません。
アクセスがまだ有効な間に同じデータセットを再度購入すると、それは更新になります。新しい1か月分は残り期間の上に加算されるため、日数が無駄になることはありません。
VAT情報付きの請求書は発行できますか?
はい。購入前に請求設定 → 請求書情報で会社名とVAT番号を登録しておくと、以降のすべての請求書が正しい内容で発行されます。過去の請求書についても、ご依頼いただければ再発行いたします。
VATは課税されますか?
有効なVAT番号をお持ちでないEU圏のお客様には課税されます。VAT番号が確認済みのEU圏B2Bのお客様はリバースチャージ方式が適用されます。EU圏外のお客様には税抜き価格が適用されます。
フォーマット&配信
実際にファイルを受け取る方法について。
データはどの形式で提供されますか?
JSON Lines 形式で、zstd 圧縮(.jsonl.zst)、1行につき1つのJSONオブジェクトです。無料の10Kサンプルは非圧縮のプレーンな.jsonlです。フォーマットはこれのみで、CSVやParquetはありません。
ダウンロードはどのように行いますか?
署名付きのHTTPSダウンロードで、レジューム(再開)に対応しており、アクセス期間中はずっと有効です。データセット全体はもちろん、TLDやTLDサフィックス、国、技術といった一部分だけを取得することもできます。
同じファイルには、お客様のキーを使ってダウンロードAPIからプログラム的にアクセスすることもできます。
BigQuery / Snowflake / Postgresと組み合わせて使えますか?
はい。ファイルはJSON Lines(改行区切りのJSON)形式です。zstdで解凍してNDJSONとして読み込んでください。BigQuery、SnowflakeおよびDuckDBはJSONLを直接取り込めます。Postgresの場合は、各行をjsonb列に読み込むか、事前にjqでフラット化してください。
APIはありますか?
はい。ダウンロードAPIは、追加費用なしですべてのデータセットに含まれています。アカウントのBearerキーを使って、フルファイルまたはスコープ単位のスライス(TLD、サフィックス、国、技術のいずれか1つ)を取得できます。個別のクエリ用/検索用のAPIはありません。絞り込みが必要な場合は、該当するスライスをダウンロードしてローカルでフィルタしてください。詳しいドキュメントはAPIページにあります。
データセットが更新されたときに通知を受け取れますか?
はい。アカウント → APIキー → WebhooksでWebhookを追加すると、毎日のエクスポートが更新されるたびにdataset.updatedイベントをPOSTし、変更されたデータセットを通知します。あとはお客様のジョブがダウンロードAPI 経由で最新ファイルを取得します。
プライバシー&法務
GDPR、マスキング、データの利用範囲について。
データはGDPRに準拠していますか?
はい。含まれるのは公開されているWHOIS、RDAP、DNSのデータのみです。個人データは、レジストラが求める場合にマスキングされます(GDPR Art. 6 / 14 および EDPBガイドラインに準拠)。データ処理契約(DPA)はご依頼いただければご提供します。All dataのお客様にはデフォルトで含まれます。
データをアウトバウンドメールやコールドアウトリーチに使えますか?
見込み客の発掘や調査目的でご利用いただけますが、アウトリーチの適法性(米国のCAN-SPAM法、EUのGDPR Art. 6など)についてはお客様ご自身の責任となります。個人のメールアドレスはデータセットに含まれません。含まれるのは、レジストラが提供する連絡先や、公開されている場合のabuse連絡先のみです。
データを再配布または転売できますか?
社内での利用は問題ありません。データの再配布、転売、または当社のデータを使った競合製品の構築は認められていません。詳細は利用規約をご覧ください。再配布権が必要なユースケースをお考えの場合は、営業までご相談ください。
アカウント
ログイン、パスワード、チームアクセスについて。
パスワードを忘れました。
パスワード再設定をご利用ください。ワンタイムのリセットリンクをメールでお送りします(有効期限30分)。パスワードを再設定しても、データセットへのアクセス権や有効なセッションには影響しません。
チームメンバーを追加できますか?
はい。どのプランでもアカウント → 設定 → チームから、最大5名までチームメンバーを招待できます。メンバーはそれぞれ専用のログインを持ちますが、データセットへのアクセス権とダウンロード履歴は共有されます。
アカウントを削除するにはどうすればいいですか?
アカウント → 設定 → 危険な操作から削除できます。削除は取り消せず、ダウンロード履歴、APIキー、保存されているカード情報が削除されます。有効なデータセットへのアクセス権は期限まで継続し、削除時に未使用分の返金は行われません。
さらにサポートが必要ですか?
担当者に連絡する3つの方法。