完全なすべてのウェブサイトのリスト、ランキング付き
公開ウェブ上に登録されているすべてのウェブサイトの完全なリストで、308,341,084行を収録し、それぞれPageRankとHarmonic Centralityでスコアリングされています。IPによる国と登録日は各行に記載されており、ランクはすでに計算済みの状態で届くため、1兆本のエッジを持つリンクグラフを自分で構築する必要はありません。
✓ All active domains の列を含む · ✓ 毎日更新されるエクスポート · ✓ 無料の10,000行サンプル
Websites + Rankingデータセットの内部:ライブデータサンプル
ライブデータベースから取得した実際の5行で、ダウンロードするのとまったく同じ9列のスキーマです。作り物は一切ありません。
| Domain | TLD suffix | TLD | Domain type | Country by IP | PR value | Harmonic value | Domain creation date | Domain expiration date |
|---|---|---|---|---|---|---|---|---|
| facebook.com | com | com | ICANN | DE | 0.00936215 | 29,201,472 | 1997-03-29 | 2034-03-30 |
| instagram.com | com | com | ICANN | DE | 0.00638845 | 26,482,124 | 2004-06-04 | 2034-06-04 |
| youtube.com | com | com | ICANN | US | 0.00485125 | 25,314,270 | 2005-02-15 | 2027-02-15 |
| linkedin.com | com | com | ICANN | US | 0.00387337 | 23,915,728 | 2002-11-02 | 2026-11-02 |
| wordpress.org | org | org | ICANN | US | 0.00194836 | 21,093,110 | 2003-03-28 | 2035-03-28 |
プレースホルダーではなく、データセットから直接取得した実際の値です。 ↓ 無料の10,000行プレビュー
すべてのウェブサイトに2つの重要度シグナル
全ウェブサイト一覧の各行には、他のサイトからどれだけ参照されているかを示す2つの独立した指標が含まれています。どちらか一方を使うことも、両方を使って相互チェックすることもできます。
PageRank
リンクグラフにおける権威性です。多くの重要なページからリンクされているサイトほど高いスコアになるため、1行のフィルターで設定したしきい値以上の名前だけを残せます。例えば、instagram.comはPRが0.0063でほぼ最上位に位置します。
Harmonic Centrality
サイトがグラフ全体の中でどれほど中心的かを示す、もう1つの中心性指標です。PageRank単独よりもリンクスパムに強いため、両方を提供することで1回の処理でランク付けと妥当性確認を同時に行えます。
2つのランクの読み方
どちらの値も加工なしでそのまま提供されるため、用途に合わせてしきい値を設定できます。それぞれの値がどのように変化するか、そしてそれをフィルターに変える方法をおおまかに紹介します。
PageRankのスケール
PageRankは微小な小数から始まり、上に向かって増加します。ウェブ上で最もアクセスの多いサイトは0.006付近に位置し、堅実な中堅サイトはそこから2桁ほど下に位置し、ロングテールはゼロに向かって収束していきます。求める品質基準に合った下限値を設定すれば、注目に値するサイトだけにリストが自動的に絞り込まれます。
Harmonicスケール
Harmonic Centralityは大きな整数で、グラフ内でそのサイトへ至る短い経路の数が多いほど値が上がります。Webの上位では数千万に達する一方、一般的なサイトはそれよりはるかに低い値になります。PageRankよりも滑らかに変化するため、多数のサイトが似たPageRank値に集中している場合の判別基準として優れています。
ランク付けされたウェブサイトごとに9列
All active domains の4列からなるドメイン基幹データに、ランキングとライフサイクルの5つのフィールドを加えたものです。
全ウェブサイトが毎日どのようにランク付けされるか
負荷の高いグラフ計算は弊社側で実行されるため、お手元のコピーにはすでに計算済みのランクが届きます。
クロール
ウェブ全体をスイープしてアクティブなサイトを検出します。
検証
DNS、HTTP、WHOIS、RDAP を通じて各サイトが稼働中であることを確認します。
リンクグラフ
ウェブ規模のリンクグラフを再構築します。
スコア
サイトごとに PageRank と Harmonic を計算します。
エクスポート
国と日付を追加し、1つの JSONL ファイルとして出力します。
全ウェブサイトのリストを活用しているのは誰か
毎日更新されるランク付きファイルが1つ、それを使うチームは数多くあります。さまざまな購入者がそれをどう強みに変えているかを紹介します。
時系列でランキングの変化を追跡
デイリーエクスポートは差分比較が可能なので、あるツールがたまたまサンプリングしたサイトだけでなく、ウェブ全体でPageRankとHarmonic Centralityがどう動くかを追跡できます。
権威性で市場を絞り込む
特定の国内で最低PageRankを上回るアクティブなウェブサイトを抽出するだけで、ノイズをあらかじめ除いたアドレサブルマーケットのリストが即座に手に入ります。
リンク先を一括でスコアリング
ルックアップごとのAPI制限を気にせず、ファイルを一度読み込むだけですべての見込み先をスコアリングできます。順位は、そこからのリンクが持つ価値で決まります。
実際の権威性でインベントリを重み付け
ビッドリクエストを、登録済みの全ウェブサイトのリストと突き合わせて、PageRankとホスティング国によってドメインを重み付けまたは除外できます。
ランク付けされたウェブの全数調査
1年前のクロールデータではなく、毎日更新されるデータセットで、ウェブ全体の形状と権威性の分布を調査できます。
割安なドメイン名を発見
PageRankと有効期限を突き合わせて、238か国にわたる更新間近の高権威サイトを見つけられます。
Webのランキングを自分で計算するか、計算済みのものを購入するか
自分で構築する場合
- Webスケールのリンクグラフを扱うには、数兆本のエッジを保存し処理する必要があります。
- そのグラフに対するPageRankの計算は、実行と再実行を繰り返す必要がある重い分散処理です。
- クエリ課金型のSEO APIは数千件のクエリで上限に達し、呼び出しごとに課金されます。
- さらに、すべてのIPをジオロケーションし、登録日を別途取得する必要があります。
webatlaが提供する1つのファイル
- PageRankとHarmonic Centralityは、すべての行にあらかじめ計算済みで含まれています。
- 238か国にわたる308.3M件のランク付け済みサイトを1つのファイルで提供します。
- 毎日再エクスポートされるため、ランクとライフサイクル日付は常に最新です。
- クエリ単位の課金もレート制限もありません。
ランキングリストをそのままスタックに投入
JSON Lines と zstandard 形式で、1行に1オブジェクトです。前処理なしで Postgres、ClickHouse、BigQuery、DuckDB に読み込めます。
SELECT domain, pr FROM 'websites-ranking.jsonl.zst'
WHERE country = 'DE' ORDER BY pr DESC LIMIT 100
1行で書けるレシピ
順位も日付もすべて単純なカラムに収まっているため、本当に必要なクエリはそれぞれ1行で済みます。ここでは、チームが特によく抽出しているリストをいくつか紹介します。
市場別トップサイト
任意の国における最強サイトのランク付きリスト
アウトリーチ見込み先
メールする価値のある.ioサイトを、あらかじめスコアリング済みで抽出
有効期限間近の高権威ドメイン
更新が近づいている価値の高いドメインのウォッチリスト
ランク付けされたウェブの分布
1クエリで得られる、ホスティング国別のウェブの内訳
初期の勢いがある新規ドメイン
すでにリンクを獲得し始めている新しいサイトのリスト
権威性で2つのTLDを比較
TLDごとの平均PageRankを並べて比較し、強いサイトがどこに集まっているかを確認
信頼できるランキング
自社グラフ上で計算
PageRank と Harmonic Centrality は webatla 独自のウェブ規模クロールから得られたものであり、第三者からの転売ではありません。
稼働中のサイトのみ
すべてのウェブサイトは行として収録される前に DNS、HTTP、WHOIS、RDAP で検証されるため、実在するサイトだけをランキングできます。
毎日再構築
リスト全体が毎日再生成されるため、ランクや有効期限が古いキャッシュのままになることはありません。
1,432種のTLDと238か国をカバー
webatlaはすべてのTLDとすべての国にわたってドメインを追跡しています。ここではドメイン数が多い順に並べ、それぞれから完全なプロフィールへのリンクがあります。
サブスクリプション、鮮度、ライセンス、返金
すべてのウェブサイトのリストはどのくらいの規模ですか?
現在のエクスポートには、238か国、1,432TLDにわたる、ランキング付きのアクティブなウェブサイトが308,341,084件含まれています。毎日更新されます。
ランクはどこから得られていますか?
webatlaは、日次エクスポートのたびに再構築される独自のウェブ規模のリンクグラフ上でPageRankとHarmonic Centralityを算出しています。両方の生の値が各行に含まれています。
PageRankとHarmonic Centralityの違いは何ですか?
PageRankは、リンクを通じて流れる権威性を測定します。多くの重要なページからリンクされているウェブサイトほど、高い値になります。Harmonic Centralityは、あるウェブサイトがグラフ全体の中でどれだけ中心的な位置にあるかを測定するもので、リンクスパムに対してより頑健です。両方の値を使うことで、ランク付けと相互検証ができます。
リストを国や最低ランクでフィルタリングできますか?
はい。各行にはIPベースの国と両方のランク値が含まれているため、1行のWHERE句だけで、対象とする国の中でPageRankが一定のしきい値を超えるウェブサイトのみを残せます。
All active domainsとの違いは何ですか?
All active domainsは、すべての登録済みドメインを4列で収録したリストです。Websites Rankingはそこからアクティブなウェブサイトを抽出し、IPベースの国、PageRank、Harmonic Centrality、登録日情報を追加しています。
ランクはどのくらいの頻度で変化しますか?
リンクグラフは日次エクスポートのたびに再構築されるため、PageRankとHarmonic Centralityは日によって変動する可能性があります。特定のウェブサイトやリストの任意の一部について変化を測定するには、2つのスナップショットを比較してください。
ランキングの履歴を時系列で追跡できますか?
はい、日次エクスポートを保存しておくことで可能です。各ファイルは日付付きのスナップショットであり、それらをつなげることで各ウェブサイトのPageRankとHarmonic Centralityの時系列データになります。
ccTLDや英語以外のウェブサイトも対象に含まれますか?
はい。このリストはすべてのTLDとccTLDを網羅しており、国はIPによって判定されます。そのため、言語ではなく、ウェブサイトが配信されている市場ごとにランキング対象のウェブを分割できます。
ここではどのような名前がウェブサイトとみなされますか?
名前解決ができ、正常に機能するウェブサイトを配信している登録可能なドメインです。DNSには応答するものの機能するウェブサイトを持たない名前はランキング対象外となり、代わりにAll active domainsに収録されます。
ランキングはグローバルですか、それとも国別ですか?
ランクはグローバルであり、単一の世界規模のリンクグラフ上で算出されるため、日本のPageRankとブラジルのPageRankを比較できます。IPベースの国は独立した列として提供されているため、グローバルなリストを特定の市場に絞り込むこともできます。
自社のドメインとリストを照合できますか?
はい。各行は登録可能なドメインをキーとしており、CRMや競合リストとのハッシュジョインで、PageRank、Harmonic Centrality、国、日付情報を1回の処理で各ドメイン名に紐付けられます。
データセットはどのような形式で提供されますか?
JSON Lines形式で、zstandardで圧縮されており(6,1 GB)、スキーマも文書化されています。ファイルは前処理なしでPostgres、ClickHouse、BigQuery、DuckDBに読み込めます。
アクセスはどのように機能しますか?
1か月分のアクセス、または€990で1年分のアクセスを取得できます。この期間中は、最新の日次エクスポートをいつでも再ダウンロードできます。
支払い後、データはどのように受け取れますか?
お支払いが確認され次第、データセットはアカウントのダウンロード欄に表示されます。1ヶ月間のアクセス期間中は、最新の日次エクスポートを何度でも再ダウンロードできます。
データを商用利用できますか?
はい。組織内での商用利用はwebatlaのデータライセンスの対象です(利用規約をご確認ください)。再配布、転売、複数年ライセンスについては、事前にお問い合わせください。
返金には対応していますか?
データセットはデジタル製品のため、すべての販売は最終的なものとなります。だからこそ、すべてのデータセットには無料の10,000 行プレビューが用意されており、購入前にスキーマを確認できます。唯一の例外は、破損したファイル、誤ったスキーマ、5%を超える行の欠落といった重大な不具合がある場合です。72時間以内にサポートへご連絡いただければ、ファイルの再提供または購入代金の返金を行います。
すべてのウェブサイトのランキング付きリストを手に入れましょう
PageRankとHarmonicでランク付けされたウェブサイト308.3M件・毎日更新されるエクスポート・1か月€99。