Часті запитання
Усе про датасети webatla, модель без підписки, формати, оплату та приватність.
Початок роботи
Основи — що таке webatla, як це працює, для кого це.
Що таке webatla?
webatla є глобальною базою даних доменів. Ми скануємо, класифікуємо та збагачуємо дані про кожен активний домен в інтернеті, а їх 425,9 мільйона, і надаємо результат у вигляді структурованих датасетів JSON Lines (стиснених zstd), які ви можете завантажити та обробляти самостійно.
Немає інтерфейсу для запитів, куди треба входити. Ви купуєте датасет і завантажуєте файл або забираєте його програмно через API завантаження.
Для кого це?
Переважно для чотирьох типів команд:
- Дослідження та дані — аналітики, ML-команди, академічні дослідники, які вимірюють інтернет
- Зростання та продажі — формування списків лідів ("кожен магазин Shopify у Німеччині")
- Безпека та аналітика загроз — відстеження доменів-двійників, нових реєстрацій, ризикованих технологічних стеків
- Доменні інвестори — пошук доменів, що звільняються, з трафіком і рейтингом
Чи є безкоштовний зразок?
Так. Для кожного датасету можна завантажити зразок на 10 000 рядків з тією самою схемою, що й у повному файлі. Він доступний після безкоштовної реєстрації. Перегляньте датасети, щоб отримати зразок.
Скільки часу потрібно, щоб отримати дані після покупки?
Одразу. Посилання на завантаження є на сторінці підтвердження замовлення та надсилається вам на email за лічені секунди. Датасети, більші за 10 GB, передаються потоком під час завантаження — без очікування на завдання експорту.
Датасети та дані
Що всередині, як це збирається, наскільки воно свіже.
Які датасети ви продаєте?
Шість основних датасетів плюс одна спеціальна пропозиція:
- All active domains · €29 · 425,9 млн рядків
- Websites + Ranking · €99 · 325,8 млн рядків
- Technologies · €159 · 313,9 млн рядків
- DNS · €199 · 353,2 млн рядків
- RDAP & WHOIS · €299 · 410,3 млн рядків
- All data · €599 · 425,9 млн рядків · усе
- Domain Investor · €299 · домени, що звільнилися або скоро звільняться, з рейтингом
Повні деталі на сторінці тарифів.
Як ви рахуєте домени?
До загальної кількості ми зараховуємо домени в усіх доменних зонах верхнього рівня ICANN (загальних і національних), а також у приватних суфіксах із Public Suffix List, як-от myshopify.com чи blogspot.com. Сьогодні це 425,9 мільйона доменів. Кількість оновлюється щодня.
Чому доменів із записами DNS менше за загальну кількість?
Багато зареєстрованих і активних доменів мають порожні записи DNS і не мають серверів імен. Вони входять до загальної кількості, але в датасеті DNS для них немає рядків. Сьогодні датасет DNS містить 353,2 млн рядків.
Домени без записів DNS усе одно є у файлах зі списком доменів, як-от All active domains і All data.
Наскільки свіжі дані?
Щодня ми генеруємо свіжий експорт кожного датасету. У межах вашого періоду доступу ви завжди можете завантажити найновішу версію.
Звідки беруться дані?
Ми поєднуємо кілька джерел:
- Публічні файли зон для кожного TLD, який їх публікує
- Активне розв'язання DNS на наших власних резолверах
- Публічні точки доступу RDAP та WHOIS
- Наш власний краулер для визначення відбитків технологій (HTTP-заголовки, HTML-маркери, JS-евристики)
- Публічні сигнали рейтингу (PageRank, Harmonic Centrality)
Наскільки точне визначення технологій?
Для широко розгорнутих платформ (WordPress, Shopify, Cloudflare, Google Analytics) ми вимірюємо точність близько 99%. Для маловживаних і самостійно розміщених інструментів точність становить 92-95%. Хибнопозитивні результати майже завжди походять від white-label реселерів, які використовують той самий відбиток.
Якого розміру файли?
Розміри відрізняються між датасетами й з часом зростають, тож ми не фіксуємо тут конкретні числа — поточний стиснений розмір показано на сторінці кожного датасету і на екрані оформлення.
Файли — JSON Lines, стиснені zstd (.jsonl.zst); у розпакованому вигляді вони в кілька разів більші, тож плануйте місце на диску відповідно.
Чи є документ зі схемою?
Безкоштовний зразок на 10 000 рядків (звичайний .jsonl) показує точну схему, а повний довідник колонок із типами даних — на вашій сторінці API. Назви стовпців стабільні; нові стовпці додаються (ніколи не переставляються), тож ваші завантажувачі не зламаються.
Тарифи та оплата
Як працюють оплата, поновлення та повернення коштів.
Це справді не підписка?
Саме так. Кожен датасет — це разова покупка. Ми не подовжуємо автоматично і не зберігаємо дані картки, якщо ви явно не погодитесь на це. Ваш доступ завершується автоматично, і ви самі обираєте, коли поновити.
Що означає доступ на «1 місяць»?
З моменту покупки у вас є один календарний місяць, протягом якого ви можете завантажувати датасет — включно з кожним щоденним свіжим експортом, опублікованим у цьому вікні, — скільки завгодно разів. Коли термін спливає, посилання на завантаження перестає працювати.
Як працює річний варіант?
Та сама модель, довше вікно. Ви платите 10× місячної ціни й отримуєте повний рік доступу — заощаджуючи 2 місяці порівняно з щомісячним поновленням. Усе ще разово, усе ще без автопродовження.
Які способи оплати ви приймаєте?
Оплатити можна карткою або криптовалютою. Платежі карткою (Visa, Mastercard, Amex) обробляє Stripe. Криптовалютні платежі (BTC, ETH, USDT та інші) обробляє PayerURL.
Банківський переказ доступний на запит: напишіть на sales@webatla.com.
Чи пропонуєте ви повернення коштів?
Ні. Датасети є цифровими продуктами, і всі продажі остаточні. Кожен датасет має попередній перегляд на 10 000 рядків з тією самою схемою та якістю, що й повний файл. Ви можете завантажити його безкоштовно, якщо маєте акаунт. Під час оформлення замовлення ви підтверджуєте, що ознайомилися з ним.
Єдиний виняток становить суттєвий дефект: неправильна схема, пошкоджений або зіпсований файл чи понад 5% відсутніх рядків порівняно із заявленою кількістю. У такому разі напишіть на support@webatla.com протягом 72 годин, і ми або повторно видамо файл, або повернемо вам кошти.
Доставка починається, щойно вашу оплату підтверджено. Погоджуючись із нашими умовами під час оформлення замовлення, ви просите про таку негайну доставку і визнаєте, що втрачаєте будь-яке передбачене законом право на відмову від договору, щойно завантаження стає доступним. Якщо ви споживач, це не впливає на інші обовʼязкові права, які ви маєте.
Чи приймаєте крипту?
Так. Ви можете оплатити криптовалютою (BTC, ETH, USDT та інші) через наш крипто-чекаут на базі PayerURL. Доступ відкривається автоматично, щойно платіж підтверджується.
Чи можна перемикатися між датасетами?
Кожен датасет — окрема покупка, тож перехід на інший — це нова покупка (жодного заліку різниці немає).
Повторна покупка того самого датасету, поки доступ ще активний, поновлює його: новий місяць додається поверх залишку, тож ви не втрачаєте днів.
Чи можу я отримати рахунок з реквізитами ПДВ?
Так. Додайте назву вашої компанії та VAT ID у розділі Рахунки → Реквізити рахунку перед покупкою, і кожен майбутній рахунок буде виставлено правильно. Ми також можемо повторно видати минулі рахунки на запит.
Чи стягуєте ви ПДВ?
До вашого замовлення ПДВ не додається. Ціна під час оформлення замовлення є кінцевою.
Формати та доставка
Як ви насправді отримуєте файл.
У якому форматі я отримую дані?
JSON Lines, стиснені zstd (.jsonl.zst), один JSON-обʼєкт на рядок. Безкоштовний зразок на 10K є звичайним, нестисненим .jsonl. Це єдиний формат. Інших форматів, як-от Parquet, немає.
Як завантажити?
Підписане HTTPS-посилання на завантаження, з підтримкою відновлення, дійсне протягом усього періоду доступу. Можна забрати весь датасет або лише один зріз — окремий TLD, TLD-суфікс, країну чи технологію.
Ті самі файли доступні програмно через API завантаження за вашим ключем.
Чи можу я використовувати це з BigQuery / Snowflake / Postgres?
Так. Файли — JSON Lines (один JSON-обʼєкт на рядок) — розпакуйте zstd і завантажуйте як NDJSON. BigQuery, Snowflake і DuckDB читають JSONL напряму; для Postgres завантажте кожен рядок у колонку jsonb або спершу розкладіть через jq.
Чи є у вас API?
Так — це API для завантаження, включений у кожен датасет без додаткової плати. Використовуйте Bearer-ключ із кабінету, щоб забрати повний файл або зріз за скоупом (один TLD, суфікс, країна чи технологія). Окремого API для запитів/пошуку немає — для фільтрації завантажте потрібний зріз і відфільтруйте локально. Повна документація — на вашій сторінці API.
Чи можна отримати сповіщення про оновлення датасету?
Так. Додайте вебхук у Акаунт → API-ключі → Webhooks, і ми надсилатимемо POST-подію dataset.updated щоразу, коли оновлюється щоденний експорт, із переліком змінених датасетів. Після цього ваш сервіс завантажує свіжий файл через API завантаження.
Приватність та право
GDPR, приховування даних і що ви можете робити з даними.
Чи відповідають дані вимогам GDPR?
Так. Датасети побудовано на основі публічних даних DNS, RDAP і WHOIS та публічних сайтів. Вони не призначені містити персональні контактні дані, і ми вживаємо заходів, щоб їх виключити. Перед доставкою ми приховуємо персональні поля в сирих реєстраційних записах.
Якщо ви знайдете у файлі персональні дані, поводьтеся з ними як з персональними даними згідно із законодавством, яке застосовується до вас, і, будь ласка, повідомте нас на privacy@webatla.com. Угода про обробку даних доступна на запит.
Чи можу я використовувати дані для вихідних розсилок / холодних контактів?
Так, якщо ваші розсилки та інші звернення відповідають законодавству, яке до них застосовується, зокрема антиспамовому законодавству і законодавству про захист даних. Датасети не призначені містити контактні дані, і ми вживаємо заходів, щоб їх виключити. Будь-які адреси електронної пошти чи номери телефонів, які ви використовуєте, мають походити з ваших власних законних джерел.
Ви самі відповідаєте за свої розсилки та звернення. Див. Умови використання.
Чи можу я перерозповсюджувати або перепродавати дані?
Так. Ви можете використовувати дані з будь-якою законною метою, комерційною чи ні. Ви можете створювати на їх основі продукти й продавати їх, а також перепродавати, перерозповсюджувати чи субліцензувати самі дані, навіть у продуктах, що конкурують з webatla. Письмова угода не потрібна, і доплачувати нічого не треба. Зазначати webatla як джерело не обовʼязково.
Ваш єдиний обовʼязок полягає в тому, щоб дотримуватися законодавства, яке застосовується до вашого використання, зокрема антиспамового законодавства і законодавства про захист даних. Ліцензія поширюється на кожен файл, який ви завантажили протягом періоду доступу, і не припиняється, коли цей період закінчується. Див. Умови використання.
Акаунт
Вхід, пароль і видалення акаунта.
Я забув пароль.
Скористайтеся процедурою скидання пароля. Ми надішлемо на email одноразове посилання для скидання (дійсне 30 хвилин). Скидання пароля не впливає на ваш доступ до датасетів чи активні сесії.
Чи можу я додати членів команди?
Ні. Кожен акаунт призначений для однієї особи, тож колега, якому потрібно входити, створює власний акаунт. Файлами, які ви завантажуєте, можна ділитися з командою. Якщо вашій команді потрібен спільний доступ, напишіть нам.
Як видалити мій акаунт?
У розділі Акаунт → Налаштування → Небезпечні дії. Після видалення акаунта ви виходите з нього на всіх пристроях, а ваші API-ключі й вебхуки відкликаються. Видалення також одразу припиняє ваш доступ до датасетів, і ми не повертаємо кошти за невикористаний час. На файли, які ви вже завантажили, і далі поширюється ліцензія, описана в Умовах використання.
Усе ще потрібна допомога?
Три способи звʼязатися з людиною.