---
title: "Доменні дані для дата- та ML-команд"
description: "Кожен активний домен із DNS, WHOIS, технологіями та рейтингом в одному JSONL-файлі. Робочі рецепти для jq, DuckDB і Python, без оплати за кожен рядок."
url: https://webatla.com/uk/use-cases/data-teams
---

# Збагачуйте будь-які дані, у яких є домен, з одного JSONL-файлу

426M активних доменів із сигналами DNS, WHOIS, технологій і рейтингу, по одному рядку на домен, оновлення щодня. Повний експорт коштує €599. Навчайте моделі, оцінюйте записи та будуйте власний дата-продукт на цій основі.

[Отримати безкоштовний зразок 10K](https://webatla.com/api/v1/preview?dataset=all-data)
[Переглянути all-data, €599](https://webatla.com/uk/datasets/all-data)

[Чи можна побудувати на цьому продукт? Читайте ліцензію →](https://webatla.com/uk/use-cases/data-teams#license)

426M+, активних доменів, по одному рядку на кожен

€1,41, за 1M повних записів

39,3 GB, один JSONL-файл на експорт

Щодня, оновлення експортів, схема незмінна

## Ваш пайплайн, наш файл

Чотири рецепти на реальній схемі. Кожна назва поля нижче саме така, як в експорті. Кожен із них працює і на безкоштовному зразку з 10 000 рядків. Щоб залишити лише живі домени, відбирайте рядки, де "DNS Status" має значення "TRUE".

`Domain` `TLD` `Domain type` `HTTP status` `IP address` `Country by IP` `Technologies` `DNS records` `PR value` `Harmonic value` `Registrar` `Domain creation date` `Domain expiration date` `RDAP/WHOIS Record`

### Список лідів просто з файлу

Кожен сайт на WordPress, який публікує MX-запис, потоком просто з експорту. На диск нічого не пишеться.

bash + jq

```
# Technologies ships as a list of names, or a name-to-version map.
# One line normalizes both shapes.
zstdcat webatla-all-data-2026-11-16.jsonl.zst |
jq -c 'def techs: (.Technologies // []) | if type == "object" then keys else . end;
   select(techs | index("WordPress"))
   | select((."DNS records" // {}) | has("MX"))
   | {domain: .Domain, tld: .TLD, rank: ."PR value"}' \
  > wordpress-with-mail.jsonl
```

### Поширеність технологій за TLD

Агрегуйте по 1 429 TLD просто у файлі, без окремого завантаження. DuckDB читає поле технологій як JSON, тому спершу перевірте його тип.

duckdb

```
SELECT "TLD", count(*) AS domains
FROM read_json('webatla-all-data-2026-11-16.jsonl.zst',
       format='newline_delimited', compression='zstd',
       columns={'TLD':'VARCHAR', 'Technologies':'JSON'})
WHERE list_contains(
        CASE json_type("Technologies")
          WHEN 'ARRAY'  THEN json_extract_string("Technologies", '$[*]')
          WHEN 'OBJECT' THEN json_keys("Technologies")
          ELSE []::VARCHAR[] END, 'WordPress')
GROUP BY "TLD" ORDER BY domains DESC LIMIT 20;
```

### Збагатіть свою CRM за ключем домену

Приєднайте власні записи до експорту через LEFT JOIN. Країна, рейтинг і технологічний стек стануть поруч із кожним рядком, який у вас уже є.

duckdb

```
SELECT c.*, w."Country by IP", w."PR value", w."Registrar"
FROM 'crm.csv' c
LEFT JOIN (
  SELECT "Domain", "Country by IP", "PR value", "Registrar"
  FROM read_json('webatla-all-data-2026-11-16.jsonl.zst',
         format='newline_delimited', compression='zstd',
         columns={'Domain':'VARCHAR', 'Country by IP':'VARCHAR',
                  'PR value':'DOUBLE', 'Registrar':'VARCHAR'})
) w ON lower(c.domain) = w."Domain";
```

### Прохід по файлу на ноутбуці зі сталою памʼяттю

Читайте потоком усі 425 938 876 рядків, не тримаючи файл у памʼяті. Рахуйте ознаки, оцінюйте їх і записуйте результат.

python

```
import io, json, zstandard as zstd

with open("webatla-all-data-2026-11-16.jsonl.zst", "rb") as f:
    for line in io.TextIOWrapper(zstd.ZstdDecompressor().stream_reader(f)):
        r = json.loads(line)
        t = r.get("Technologies") or []
        names = list(t) if isinstance(t, dict) else t
        if "WordPress" in names and (r.get("DNS records") or {}).get("MX"):
            print(r["Domain"], r.get("Registrar"))
```

Перший і четвертий рецепти — це той самий запит у двох рушіях, і на тому самому експорті вони повертають однакові рядки. Перехресна перевірка одного фільтра двома інструментами і є способом валідувати будь-який пайплайн, який ви на цьому будуєте.

## Чи можна побудувати на цьому продукт? Так

Усе вирішує одне правило. Використовуйте дані з будь-якою законною метою. Будуйте на них продукти, продавайте те, що побудували, або перепродавайте самі рядки.

### Дозволено одразу

- Збагачувати власні записи та записи ваших клієнтів

- Навчати моделі та продавати оцінки, класифікації і висновки

- Живити пошук і функції всередині вашого продукту

- Публікувати агреговані висновки, дослідження та звіти

Те, що ви побудували, належить вам. Купівля датасету дає ліцензію, а не саму базу даних.

[Почати з all-data](https://webatla.com/uk/datasets/all-data)

### Перепродаж теж дозволено

- Перепродаж або перерозповсюдження сирих датасетів, цілком чи частково

- Субліцензування експорту третім сторонам

Жодної окремої угоди і жодної доплати. Ваш єдиний обов'язок полягає в тому, щоб дотримуватися законодавства, яке застосовується до вашого використання, зокрема антиспамового законодавства і законодавства про захист даних.

[Є запитання? Напишіть нам](https://webatla.com/uk/contact?topic=sales)

Перевірка лише одна: чи законне ваше використання. І продаж того, що ви побудували, і продаж самих рядків її проходять. Повне формулювання наведено в розділі [Умови використання](https://webatla.com/uk/terms).

## Що це робить із вашою собівартістю

Тарифи на збагачення з оплатою за запит зростають разом із вашим обсягом, тож маржа зменшується саме тоді, коли ви ростете. Зі звичайним файлом такого не буває.

all-data, повний експорт, €599

записів в експорті, 425 938 876

повторні завантаження протягом місяця, без обмежень

тарифікація за запитами, немає

425 938 876 ÷ €599
**€1,41 / 1M записів**

#### Витрати на дані округлюються до нуля

За €1,41 на мільйон повних записів вартість самих даних перестає бути статтею витрат, яку варто оптимізувати.

#### Витрати більше не залежать від обсягу

Ваша маржа більше не падає, коли продукт росте. Файл коштує однаково, скільки б запитів ви до нього не зробили: один чи мільярд.

#### Можна почати з меншого

all-active-domains коштує €29 за весь простір імен. Перевірте пайплайн, а потім беріть усі колонки.

## Це вписується туди, де вже живуть ваші дані

Один файл JSON із розбивкою по рядках у стандартному стисненні. Без SDK, без пропрієтарних форматів, без клієнта від постачальника.

#### jq і shell

Читайте файл потоком і фільтруйте. Вам ніколи не доведеться записувати його цілком на диск.

#### DuckDB і ClickHouse

Обидва читають JSON із розбивкою по рядках напряму, разом зі стисненням. Оголосіть колонки, щоб пропустити визначення типів на широких рядках.

#### Spark і pandas

Стандартні зчитувачі JSONL. Розбивайте на частини або читайте потоком, схема однакова в кожному рядку.

#### BigQuery

BigQuery завантажує звичайний NDJSON, тому розпакуйте файл на вході або спершу покладіть його у сховище.

#### Polars і Arrow

Скануйте файл ліниво і фільтруйте ще до матеріалізації. Результат передавайте одразу в Arrow.

#### Snowflake і Databricks

Обидва приймають JSON із розбивкою по рядках з обʼєктного сховища. Покладіть файл один раз, а потім спрямуйте на нього stage або volume.

## Питання, які інженери справді ставлять

Відповіді без вивертів.

### Чи стабільна схема між експортами?

Так, назви полів і їхнє значення не змінюються між щоденними оновленнями, і вони задокументовані. Кілька форм варто знати ще до того, як писати парсер. Technologies приходить як список назв або як відповідність назва-версія, коли ми визначили версії. DNS records є обʼєктом, у якому ключі відповідають типам записів. Типи записів містять списки, SOA є одним обʼєктом, а похідні поля можуть бути рядками, булевими значеннями або обʼєктами. Порожні поля приходять зі значенням null, а не зникають, тому кожен рядок має однаковий набір полів.

### Наскільки свіжі дані?

Кожен датасет оновлюється щодня. Доступ включає календарний місяць повторних завантажень, тож ви можете забирати найновіший експорт стільки разів, скільки потрібно вашому пайплайну.

### Чи можна вставити це в продукт, який я продаю?

Так. Збагачення, оцінки, класифікації, пошукові запити, агреговані висновки і самі сирі рядки ви можете продавати, якщо ваше використання відповідає закону. Дивіться [розділ про ліцензію](https://webatla.com/uk/use-cases/data-teams#license) вище.

### Що є в записах, а чого немає

Публічні дані про реєстрацію, DNS і технології. Датасети не призначені містити контактні персональні дані, як-от імена власників доменів, адреси електронної пошти чи телефони, і ми вживаємо заходів, щоб їх виключити. Якщо ви колись знайдете в рядку персональні дані, поводьтеся з ними як з персональними даними згідно із законом і повідомте нас.

### Чи треба завантажувати 30 GB, щоб це перевірити?

Ні. Кожен датасет має зразок на 10 000 рядків, який ви отримуєте з безкоштовним акаунтом. Включений API з bearer-токеном також віддає зріз по одному TLD, країні чи технології за раз, до 240 запитів за хвилину.

## Запустіть рецепт на 10 000 справжніх рядків

Потрібен лише безкоштовний акаунт. Якщо зразок без помилок парситься у вашому пайплайні, повний експорт коштує €599, а схема не змінюється.

[Отримати безкоштовний зразок 10K](https://webatla.com/api/v1/preview?dataset=all-data)
[Переглянути all-data](https://webatla.com/uk/datasets/all-data)
