Шукаєте повний список усіх активних доменів — кожне зареєстроване доменне імʼя в інтернеті, зібране в один структурований файл? Будуєте ви воронку продажів, ведете дослідження з безпеки, тренуєте модель чи оцінюєте ринок — складна частина тут рідко коли аналіз. Складна частина — взагалі здобути чисті, актуальні, машинозчитувані дані.
Цей гайд розбирає реальні варіанти у 2026 році, що насправді означає «активний» і як завантажити повний набір у свіжому JSONL.
Що вважати «активним» доменом
Домен активний, коли він зареєстрований у реєстрі та резолвиться: присутній у зоні свого TLD і зазвичай має DNS-записи, що кудись ведуть. Це не те саме, що:
- Припарковані домени — зареєстровані, але не віддають справжній сайт.
- Прострочені домени та домени в черзі на видалення — вже не зареєстровані.
- Субдомени —
blog.example.comне є окремою реєстрацією, аexample.comє.
Коли просять «усі домени», майже завжди мають на увазі кожен зареєстрований домен другого рівня в усіх TLD — example.com, example.org, example.de і так далі. Їх сотні мільйонів, і розкидані вони по тисячах TLD.
Три способи отримати дані
1. Зонні файли TLD
Centralized Zone Data Service (CZDS) від ICANN дозволяє запитати зонні файли для більшості gTLD. Зонний файл перелічує домени в межах TLD разом з їхніми серверами імен.
Плюси: авторитетне джерело, і безкоштовно. Мінуси: заявку треба подавати окремо на кожен TLD і чекати схвалення, більшість ccTLD (.de, .uk, .fr, …) взагалі не публікують зони, а на виході ви маєте лише домен плюс NS-записи — без технологій, без рейтингу, без реєстраційних даних. І на вас лишається злиття сотень файлів різного ступеня свіжості.
2. Вивантаження від реєстраторів і реєстратур
Деякі реєстратури продають або публікують списки. Покриття нерівномірне, формати різні, політики ccTLD відрізняються радикально, і рідко коли ви отримаєте щось, крім голого домену. Зшити глобальне покриття таким шляхом — це окремий проєкт.
3. Готовий датасет доменів
Прагматичний варіант — завантажити датасет, у якому збір, дедуплікацію і збагачення вже зроблено. Саме таким і є датасет All Active Domains: один файл на завантаження, що охоплює кожен активний домен, який ми бачимо в усіх TLD, і оновлюється щодня.
Що всередині датасета All Active Domains
Кожен рядок — це один домен з полями, які потрібні вам для фільтрації та сегментації:
| Поле | Приклад | Навіщо |
|---|---|---|
domain |
example.com |
сама реєстрація |
tld |
com |
фільтр за TLD |
created / updated |
2014-03-09 |
вік, свіжість, добірка щойно зареєстрованих |
ns |
ns1.cloudflare.com |
DNS-провайдер і кластери хостингу |
status |
active |
резолвиться чи припаркований |
Потрібно більше, ніж сам список? Додайте зверху датасет Technologies, щоб бачити, на чому працює кожен сайт, або RDAP & WHOIS для реєстраційних деталей.
Чому саме JSONL
Кожен датасет webatla постачається у форматі JSONL — один JSON-обʼєкт на рядок. Це формат, який масштабується:
- Потоковий — обробляйте його рядок за рядком, не завантажуючи весь файл у памʼять.
- Дружній до інструментів — працює з коробки з
jq, pandas, DuckDB, BigQuery і Spark. - Стабільний за схемою — нові поля можна додавати, не ламаючи ваш парсер.
Порахувати домени за TLD можна самим лише jq:
cat all-active-domains.jsonl | jq -r .tld | sort | uniq -c | sort -rn | head
Або зробити запит прямо в DuckDB:
SELECT tld, count(*) AS domains
FROM 'all-active-domains.jsonl'
GROUP BY tld
ORDER BY domains DESC;
Наскільки свіжі дані
Домени реєструються і звільняються щохвилини, тож піврічний список — це переважно шум. Наші вивантаження перебудовуються щодня, і кожне завантаження версіоноване за датою, тож ви завжди точно знаєте, що саме у вас на руках. Найбільше цінності — у щойно зареєстрованих доменах: вони сигналізують про нові бізнеси, запуски продуктів і кампанії раніше, ніж це помітить будь-хто інший.
Часті запитання
Скільки всього активних доменів? Сотні мільйонів по всіх TLD разом, і це число рухається щодня. Датасет відображає поточний набір доменів, що резолвляться, а не застарілий історичний дамп.
Чи можна отримати лише нові домени?
Так. Фільтруйте за датою created, щоб виділити щойно зареєстровані домени, або починайте з датасета Domain Investor, який сфокусований на свіжих реєстраціях.
Хіба парсити WHOIS не швидше? Ні. WHOIS — тепер RDAP — повертає реєстраційні деталі для доменів, про які ви вже знаєте. Він не перелічить увесь простір імен, а ліміти запитів роблять масові звернення повільними.
Скільки це коштує? Одна фіксована ціна за місяць завантажень, без підписки. Дивіться ціни.
Отримайте повний список
Пропустіть паперову тяганину із зонними файлами і недороблені скрапери. Завантажте датасет All Active Domains → і вже сьогодні матимете кожен активний домен у чистому JSONL, або перегляньте всі датасети, щоб побачити, що можна нашарувати зверху.