Повний список усіх сайтів із рейтингом
Повний список усіх зареєстрованих сайтів публічного вебу, загалом 308 341 084, і кожен має оцінку за PageRank та Harmonic Centrality. Країна за IP і дати реєстрації є в кожному рядку, а будувати граф посилань на трильйон ребер вам не доведеться, бо рейтинги вже обчислені.
✓ Містить колонки All active domains · ✓ Щоденне свіже вивантаження · ✓ Безкоштовний зразок на 10K рядків
Що всередині датасету Websites + Ranking: живий зразок даних
П'ять справжніх рядків із живої бази. Та сама схема з 9 колонок, яку ви завантажуєте, нічого вигаданого.
| Domain | TLD suffix | TLD | Domain type | Country by IP | PR value | Harmonic value | Domain creation date | Domain expiration date |
|---|---|---|---|---|---|---|---|---|
| facebook.com | com | com | ICANN | DE | 0.00936215 | 29,201,472 | 1997-03-29 | 2034-03-30 |
| instagram.com | com | com | ICANN | DE | 0.00638845 | 26,482,124 | 2004-06-04 | 2034-06-04 |
| youtube.com | com | com | ICANN | US | 0.00485125 | 25,314,270 | 2005-02-15 | 2027-02-15 |
| linkedin.com | com | com | ICANN | US | 0.00387337 | 23,915,728 | 2002-11-02 | 2026-11-02 |
| wordpress.org | org | org | ICANN | US | 0.00194836 | 21,093,110 | 2003-03-28 | 2035-03-28 |
Живі значення безпосередньо з датасету, а не заглушки. ↓ Безкоштовний зразок на 10K рядків
Два сигнали важливості для кожного сайту
Кожен рядок у списку всіх сайтів містить дві незалежні оцінки того, наскільки активно решта вебу посилається на нього. Використовуйте одну з них або обидві для перехресної перевірки.
PageRank
Авторитет за графом посилань. Сайт, на який посилається багато важливих сторінок, отримує вищу оцінку, тому однорядковий фільтр залишає лише назви вище встановленого вами порогу. Наприклад, instagram.com тримається біля вершини з PR 0.0063.
Harmonic Centrality
Друга міра центральності, яка показує, наскільки сайт є центральним для всього графа. Вона стійкіша до посилального спаму, ніж сам лише PageRank, тому наявність обох показників дозволяє ранжувати та перевіряти результат за один прохід.
Як читати обидва показники
Обидва значення постачаються без обробки, тож поріг ви встановлюєте самі, під свою задачу. Ось приблизно те, як масштабується кожен показник і як перетворити його на фільтр.
Шкала PageRank
PageRank починається з дуже малих часток і зростає вгору. Найпопулярніші сайти вебу тримаються близько 0.006, міцний сайт середнього рівня опиняється на пару порядків нижче, а довгий хвіст тягнеться до нуля. Виберіть нижню межу, що відповідає потрібній вам планці якості, і список сам звузиться до сайтів, вартих уваги.
Шкала Harmonic Centrality
Harmonic Centrality — це велике ціле число, яке зростає разом з кількістю коротких шляхів у графі, що ведуть до сайту. Вершина вебу сягає десятків мільйонів, тоді як звичайні сайти тримаються значно нижче. Показник змінюється плавніше за PageRank, тому він краще розділяє сайти, які згрупувалися біля схожого значення PageRank.
Девʼять колонок для кожного ранжованого сайту
Чотириколонкова основа домену з All active domains плюс пʼять полів рейтингу та життєвого циклу.
Як кожен сайт отримує оцінку, щодня
Важкі обчислення на графі відбуваються на нашому боці, тому у вашій копії показники вже готові.
Обхід
Проходимо веб у пошуках активних сайтів.
Перевірка
Підтверджуємо, що кожен сайт живий, через DNS, HTTP, WHOIS та RDAP.
Граф посилань
Перебудовуємо граф посилань масштабу всього вебу.
Оцінка
Обчислюємо PageRank і Harmonic Centrality для кожного сайту.
Експорт
Додаємо країну та дати й віддаємо один файл JSONL.
Хто працює зі списком усіх сайтів
Один ранжований файл, що оновлюється щодня, і багато команд. Ось як різні покупці перетворюють його на перевагу.
Відстежуйте зміни позицій у часі
Щоденні експорти можна порівнювати між собою, тож ви бачите, як PageRank і Harmonic Centrality змінюються по всьому вебу, а не лише на тих сайтах, які випадково потрапили у вибірку інструмента.
Фільтруйте свій ринок за авторитетністю
Виберіть активні сайти певної країни вище мінімального PageRank і ви одразу отримаєте список доступного ринку, з якого вже прибрано сміття.
Оцініть усі цілі для посилань масово
Обійдіть ліміти API на кожен запит і оцініть кожного кандидата за один прохід по файлу, впорядкувавши їх за цінністю посилання від них.
Зважуйте інвентар за реальною авторитетністю
Обʼєднуйте запити ставок зі списком усіх зареєстрованих сайтів, щоб зважувати або виключати домени за PageRank і за країною хостингу.
Ранжований перепис вебу
Досліджуйте структуру та розподіл авторитетності всього вебу на датасеті, який оновлюється щодня, а не на річному зрізі обходу.
Знаходьте недооцінені назви
Зіставте PageRank із датами закінчення реєстрації, щоб знайти авторитетні сайти, у яких наближається поновлення, у 238 країнах.
Ранжуйте веб самотужки або купіть уже обчислений результат
Якщо будувати самостійно
- Граф посилань масштабу вебу означає зберігання й обробку трильйонів ребер.
- PageRank на такому графі — це важке розподілене обчислення, яке треба запускати знову і знову.
- SEO API з оплатою за кожен запит обмежують вас кількома тисячами запитів і рахують кожен виклик.
- Вам усе одно доведеться визначати геолокацію кожної IP та окремо збирати дати реєстрації.
Один файл від webatla
- PageRank і Harmonic Centrality приходять уже обчисленими в кожному рядку.
- 308.3M ранжованих сайтів із 238 країн в одному файлі.
- Повторний експорт щодня, тож показники та дати життєвого циклу залишаються актуальними.
- Без оплати за кожен запит і без обмежень частоти.
Підключіть ранжований список до свого стека
JSON Lines і zstandard, один обʼєкт на рядок. Файл завантажується в Postgres, ClickHouse, BigQuery чи DuckDB без попередньої обробки.
SELECT domain, pr FROM 'websites-ranking.jsonl.zst'
WHERE country = 'DE' ORDER BY pr DESC LIMIT 100
Однорядкові рецепти
Оскільки кожен показник і кожна дата лежать у звичайній колонці, потрібні вам запити займають по одному рядку. Ось кілька списків, які команди складають найчастіше.
Найсильніші сайти на ринку
Ранжований список найсильніших сайтів у будь-якій країні.
Кандидати для аутрічу
Кожен сайт у зоні .io, вартий листа, вже з готовою оцінкою.
Висока авторитетність напередодні закінчення
Список спостереження за цінними доменами, яким скоро потрібне поновлення.
Де живе ранжований веб
Розподіл вебу за країною хостингу одним запитом.
Свіжі назви з першими результатами
Список молодих сайтів, які вже набирають посилання.
Порівняйте два TLD за авторитетністю
Середній PageRank за кожним TLD поруч, щоб побачити, де скупчуються сильні сайти.
Показники, на які можна спиратися
Обчислено на власному графі
PageRank і Harmonic Centrality походять із власного обходу вебу від webatla, а не перепродані від третьої сторони.
Тільки живі сайти
Кожен сайт перевіряється через DNS, HTTP, WHOIS та RDAP, перш ніж отримати рядок, тому ви ранжуєте реальні ресурси.
Перебудова щодня
Весь список формується заново щодня, тож показники та дати закінчення реєстрації не перетворюються на застарілий кеш.
Охоплює 1 432 TLD і 238 країн
webatla відстежує домени в кожному TLD і кожній країні. Нижче наведено найбільші за кількістю доменів, кожен веде на власний профіль.
Доступ, свіжість, ліцензія та повернення
Наскільки великий список усіх сайтів?
Поточне вивантаження містить 308 341 084 активних сайтів з рейтингом у 238 країнах і 1 432 TLD. Воно оновлюється щодня.
Звідки беруться рейтинги?
webatla рахує PageRank і Harmonic Centrality на власному графі посилань масштабу всього вебу, який перебудовується разом зі щоденним вивантаженням. Обидва сирі значення є в кожному рядку.
Яка різниця між PageRank і Harmonic Centrality?
PageRank вимірює авторитет, який тече через посилання, тож сайт, на який посилається багато важливих сторінок, дістає вищу оцінку. Harmonic Centrality показує, наскільки сайт центральний для всього графа, і вона стійкіша до посилального спаму. Коли є обидві метрики, ви можете і ранжувати, і перевіряти одну через іншу.
Чи можна фільтрувати список за країною або мінімальним рейтингом?
Так. У кожному рядку є країна за IP та обидва значення рейтингу, тож один рядок WHERE залишить лише сайти вище потрібного порогу PageRank у країнах, які вас цікавлять.
Чим це відрізняється від All active domains?
All active domains — це список усіх зареєстрованих доменів на чотири колонки. Websites and Ranking залишає з них ті, що є активними сайтами, і додає країну за IP, PageRank, Harmonic Centrality та дати реєстрації.
Як часто змінюються рейтинги?
Граф посилань перебудовується з кожним щоденним вивантаженням, тож PageRank і Harmonic Centrality можуть змінитися вже наступного дня. Порівняйте два знімки, щоб виміряти зсув для будь-якого сайту чи будь-якого зрізу списку.
Чи можна відстежувати історію рейтингу в часі?
Так, якщо зберігати щоденні вивантаження. Кожен файл — це знімок з датою, тож склавши їх разом, ви маєте часовий ряд PageRank і Harmonic Centrality для кожного сайту.
Чи охоплюєте ви ccTLD та неангломовні сайти?
Так. Список охоплює всі TLD і ccTLD, а країна визначається за IP, тож ранжований веб ви можете різати за ринком, з якого сайт віддається, а не за мовою.
Які імена вважаються сайтом у цьому списку?
Реєстрований домен, який резолвиться і віддає робочий сайт. Імена, що лише відповідають на DNS, але не мають робочого сайту, рейтингу не дістають і лишаються в All active domains.
Рейтинг глобальний чи по країнах?
Рейтинги глобальні, вони пораховані на одному загальносвітовому графі посилань, тож PageRank у Японії можна порівнювати з PageRank у Бразилії. Країна за IP — окрема колонка, тож глобальний список ви завжди можете звузити до одного ринку.
Чи можна зіставити список із власними доменами?
Так. Ключ кожного рядка — реєстрований домен, тож hash join з вашою CRM або зі списком конкурентів за один прохід додасть до кожного імені PageRank, Harmonic Centrality, країну й дати.
У якому форматі це постачається?
JSON Lines, стиснуто zstandard (6,1 GB), одна задокументована схема. Файл вантажиться в Postgres, ClickHouse, BigQuery чи DuckDB без попередньої обробки.
Як працює доступ?
Ви маєте місяць доступу або рік за €990. Протягом цього періоду ви можете будь-коли перезавантажити найсвіжіше щоденне вивантаження.
Як отримати дані після оплати?
Щойно платіж підтверджено, датасет з'являється в завантаженнях вашого акаунта. Ви можете повторно завантажувати найсвіжіший щоденний експорт скільки завгодно разів протягом усього місячного періоду доступу.
Чи можна використовувати дані комерційно?
Так. Комерційне використання всередині вашої організації охоплює ліцензія на дані webatla (див. Умови). Щодо розповсюдження, перепродажу чи багаторічного ліцензування спершу зв'яжіться з нами.
Чи можливе повернення коштів?
Датасети — цифрові продукти, тому всі продажі остаточні. Саме тому кожен датасет має безкоштовний зразок на 10 000 рядків, щоб перевірити схему до купівлі. Єдиний виняток — істотний дефект, як-от пошкоджений файл, неправильна схема або понад 5% пропущених рядків. Напишіть у підтримку протягом 72 годин, і ми повторно видамо файл або повернемо кошти.
Завантажте список усіх сайтів із рейтингом
308.3M сайтів із рейтингом PageRank і Harmonic · щоденне свіже вивантаження · €99 за місяць.