Повний список усіх зареєстрованих доменів за €29
Повний список усіх зареєстрованих доменів публічного вебу. 409 870 541 рядків у 1 432 TLD, мінімум колонок, максимум охоплення, свіжий експорт щодня. Завантажуйте одним файлом JSONL, це найдешевший вхід у базу webatla.
✓ Свіжий експорт щодня · ✓ Кожен активний домен · ✓ Безкоштовна вибірка 10K
Що всередині датасету All active domains: живий зразок даних
П'ять справжніх рядків із живої бази. Та сама схема з 4 колонок, яку ви завантажуєте, нічого вигаданого.
Живі значення безпосередньо з датасету, а не заглушки. ↓ Безкоштовний зразок на 10K рядків
Що вважається зареєстрованим доменом?
Свій рядок отримує лише реєстрований домен, тобто та частина назви, яку насправді реєструють. Кожну назву нормалізовано за Public Suffix List, тому bbc.co.uk зберігається один раз під co.uk, а не як хост чи вкладений шлях. Один зареєстрований домен — рівно один рядок.
Чотири стовпці і що дає кожен з них
Жодних null, які треба обробляти, і жодних значень, які доводиться вираховувати вручну. Структура навмисно вузька, тому файл лишається невеликим, а зʼєднання (JOIN) — швидкими.
Як список перебудовується щодня
Оскільки список щодня будується з нуля, розрив між появою домену в мережі та його потраплянням у вашу копію вимірюється годинами, а не місяцями.
Сканування
Обхід вебу в пошуках назв-кандидатів.
Перевірка
Підтвердження через DNS, WHOIS і RDAP, що кожна назва активна.
Нормалізація
Зведення до межі реєстрованого домену за допомогою PSL.
Дедуплікація
Один рядок на один зареєстрований домен.
Експорт
Видача одного файлу JSONL (zst).
Що входить до списку зареєстрованих доменів, а що лишається поза ним
У списку
- Зареєстровані домени, які резолвляться сьогодні
- Припарковані назви та назви на продаж, які досі відповідають на DNS
- Кожен gTLD і ccTLD, усього 1 432 TLD
Поза списком
- Прострочені або звільнені домени, які вже не резолвляться
- Субдомени та хости, лише реєстрований домен
- Делеговані, але мертві записи із зонних файлів
Хто працює зі списком усіх зареєстрованих доменів
Один файл, що оновлюється щодня, і багато команд. Ось як різні покупці перетворюють увесь доменний всесвіт на свою перевагу.
Оцініть свій загальний доступний ринок
Зіставте список усіх зареєстрованих доменів зі своїми фільтрами ідеального клієнта, щоб оцінити кожен досяжний акаунт і помічати нові компанії того самого дня, коли їхній домен уперше починає резолвитися.
Достовірна основа для списків дозволів і блокувань
Щоденний перелік доменів, які справді резолвляться, перевершує зшиті зонні файли для виявлення фішингу, зловживання брендом і тайпсквотингу. Порівняйте два знімки, щоб побачити щойно зареєстровані домени.
Відстежуйте реєстрації в масштабі TLD
Дивіться, скільки доменів припадає на кожен з 1 432 TLD, порівнюйте реєстри між собою та вимірюйте відтік між щоденними знімками.
Перевіряйте інвентар за реальними доменами
Переконайтеся, що домен у bid-запиті справді зареєстрований і резолвиться, а не є підробкою, зіставивши його з головним файлом доменів просто в памʼяті.
Щоденний перепис відкритого вебу
Вимірюйте тренди реєстрацій і довгий хвіст простору назв на доменному датасеті, який оновлюється щодня, а не на річному краулі.
Порівняйте свою зону з ринком
Порівняйте свій обсяг реєстрацій з усім простором назв і виміряйте частку за TLD та суфіксом.
Зонні файли та скрапери проти одного чистого списку
Збирати все самотужки
- Доступ до зонних файлів надає кожен реєстр окремо і лише за погодженням, а багато ccTLD їх узагалі не публікують.
- Зонні файли перелічують делеговані назви, а не домени, які резолвляться, тож ви успадковуєте мертві записи.
- Кожен реєстр форматує дані по-своєму, тож вам доводиться доглядати за десятком парсерів.
- Щойно зареєстровані домени зʼявляються із запізненням або не зʼявляються взагалі. Обхід WHOIS упирається в ліміти запитів.
Один файл від webatla
- Кожен домен, що резолвиться, з 1 432 TLD в одному файлі, 409.9M рядків.
- Повторний експорт щодня, тому нові реєстрації зʼявляються протягом доби.
- Одна задокументована схема JSONL, яка завантажується просто у ваше сховище.
- Місяць доступу. Без тарифікації за кожен запит, без лімітів, без парсерів.
Підключіть список до свого стека
JSON Lines і zstandard, один обʼєкт на рядок. Без вкладених структур і без міграцій схеми між експортами. Повне сканування списку триває секунди навіть на ноутбуці.
SELECT domain FROM 'all-active-domains.jsonl.zst'
WHERE suffix = 'com'
Точність, на яку можна покластися
Перевірено до внесення у список
Кожну назву перевіряють наживо через DNS, WHOIS і RDAP, перш ніж вона потрапляє у список, тому ви отримуєте справжні домени, а не мертві делегування чи одруківки.
Один рядок на домен
Назви зводяться до межі реєстрованого домену за Public Suffix List, тому хост ніколи не рахується вдруге як окремий сайт.
Перебудовується щодня
Увесь список щодня генерується з нуля, тому він ніколи не перетворюється на застарілий кеш.
Охоплює 1 432 TLD і 238 країн
webatla відстежує домени в кожному TLD і кожній країні. Нижче наведено найбільші за кількістю доменів, кожен веде на власний профіль.
Доступ, свіжість, ліцензія та повернення
Як завантажити список усіх зареєстрованих доменів?
Купіть місяць доступу і заберіть датасет одним файлом JSONL, стиснутим zstandard (1,8 GB). Він переекспортується щодня, тож у межах свого періоду доступу ви будь-коли берете найсвіжішу копію одразу в Postgres, BigQuery, Snowflake чи DuckDB.
Яка різниця між зареєстрованим і активним доменом?
Це два погляди на одне й те саме. Зареєстрований домен — це будь-яке ім'я під контролем реєстратора. Активний ще й резолвиться в DNS. Цей датасет охоплює імена, які водночас зареєстровані й живі, тож ви оминаєте мертві записи, що були б у сирому реєстровому файлі.
Скільки доменів у датасеті?
Поточний експорт містить 409 870 541 активних доменів у 1 432 TLD і 8 784 публічних суфіксах. Число змінюється щодня, бо імена додаються й зникають, і кожен добовий знімок показує актуальний підсумок.
Наскільки свіжі дані?
Повний датасет переекспортується щодня з нового обходу, тож він ніколи не відстає від живого вебу. У межах місячного періоду доступу ви завантажуєте найсвіжіший знімок коли завгодно і скільки завгодно разів, без доплат.
Чи можна зібрати потік щойно зареєстрованих доменів?
Так. Порівняйте два добові знімки. Імена, які є в сьогоднішньому файлі й відсутні у вчорашньому, — це щойно зареєстровані (або щойно активні) домени, а зворотне порівняння показує ті, що зникли. Це найпростіший потік нових доменів, який можна запустити.
Чи є там припарковані, прострочені домени та піддомени?
Припарковані домени й домени на продаж, які досі резолвляться, входять, бо це справжні чинні реєстрації. Прострочені імена випадають, щойно перестають резолвитися, а піддомени не входять ніколи. Кожен рядок — це один реєстровний домен, нормалізований за Public Suffix List.
Як відфільтрувати список усіх зареєстрованих доменів за TLD або країною?
Кожен рядок несе свій TLD і публічний суфікс, тож однорядковий WHERE звужує дані до .com, .io, будь-якого ccTLD чи групи суфіксів. Для розрізів за країнами й технологіями з'єднайте цей датасет з іншими датасетами webatla за ключем реєстровного домену.
У якому форматі постачаються дані?
JSON Lines, стиснутий zstandard (1,8 GB), по одному об'єкту на рядок зі стабільною задокументованою схемою. Файл лягає одразу в Postgres, BigQuery, Snowflake чи DuckDB, а оскільки на кожному рядку один запис, ви можете читати його потоково й фільтрувати, не завантажуючи весь файл у пам'ять.
Як влаштований доступ?
Ви купуєте місяць доступу або рік за €290. У межах цього вікна ви завантажуєте найсвіжіший добовий експорт коли завгодно, а коли вікно закінчується, доступ просто припиняється.
Чи можна пізніше перейти на більший датасет?
Так. Кожен інший датасет webatla — надмножина цього. Оберіть потрібні колонки й напишіть у підтримку, щоб зарахувати залишок вашого періоду доступу.
Як отримати дані після оплати?
Щойно платіж підтверджено, датасет з'являється в завантаженнях вашого акаунта. Ви можете повторно завантажувати найсвіжіший щоденний експорт скільки завгодно разів протягом усього місячного періоду доступу.
Чи можна використовувати дані комерційно?
Так. Комерційне використання всередині вашої організації охоплює ліцензія на дані webatla (див. Умови). Щодо розповсюдження, перепродажу чи багаторічного ліцензування спершу зв'яжіться з нами.
Чи можливе повернення коштів?
Датасети — цифрові продукти, тому всі продажі остаточні. Саме тому кожен датасет має безкоштовний зразок на 10 000 рядків, щоб перевірити схему до купівлі. Єдиний виняток — істотний дефект, як-от пошкоджений файл, неправильна схема або понад 5% пропущених рядків. Напишіть у підтримку протягом 72 годин, і ми повторно видамо файл або повернемо кошти.
Завантажте повний список усіх зареєстрованих доменів
Увесь всесвіт у 1,8 GB · свіжий експорт щодня · €29 за місяць.