Як завантажити всі DNS-записи

Кожен DNS-запис кожного домену в інтернеті, в одному файлі. Ось до чого насправді зводиться повна картина, і є один чистий спосіб її отримати. Вам не потрібен скрипт, який тиждень довбає резолвери і все одно відвалюється за таймаутом на половині інтернету. Вам потрібні записи A, MX, TXT і NS для сотень мільйонів імен, уже зібрані, розібрані й готові до запитів. Саме це ви й купуєте.

Що таке DNS-запис

DNS-запис — це один рядок в адресній книзі інтернету. Він каже світові, де живе імʼя і як до нього достукатися. Який сервер відповідає у вебі, куди йде пошта, які сервери імен авторитетні, і не тільки. У кожного активного імені їх кілька, і разом вони — операційний відбиток цього домену.

Є кілька типів записів, які трапляються знову і знову:

Витягніть усе це для одного імені і ви знаєте, як влаштований його хостинг, хто веде його пошту і який захист виставив власник. Витягніть їх для всіх імен одразу і у вас на руках мапа інфраструктури всього інтернету. Саме другий датасет вартий того, щоб його мати, і саме його ніхто не роздає безкоштовно.

Записи, які тягнуть основну вагу

Кілька типів несуть більшість сигналу. Запис A — той, який уявляє більшість людей: він звʼязує імʼя з IPv4-адресою, щоб браузер знав, до якого сервера йти. Запис MX робить те саме для пошти, називаючи сервери, які приймають лист, і ранжуючи їх за пріоритетом. Запис TXT — тихий робочий кінь поштової безпеки. На самому домені запис SPF перелічує, хто має право надсилати пошту від вашого імені. Відповідні ключі підпису DKIM і політика DMARC живуть на окремих піддоменах (_domainkey і _dmarc), і разом ці три показують, наскільки добре захищена адреса, бо примусову дію дає саме політика DMARC, а не сама лише наявність записів. Запис NS називає авторитетні сервери, які відповідають за зону, а це показує, хто насправді керує резолвінгом імені.

Чому ви не витягнете всі DNS-записи самотужки

Теоретично можна прорезолвити кожне імʼя через dig у циклі. На практиці цей план вмирає швидко. Доменів сотні мільйонів, і кожному потрібно кілька запитів, щоб зібрати всі типи, тож ідеться про мільярди звернень. Публічні резолвери спершу обмежать швидкість, а потім заблокують вас задовго до фінішу. Авторитетні сервери тротлять. Таймаути, повтори й тимчасові збої означають, що один прохід ніколи не буває повним, а дані змінюються просто під час обходу, тож відповідь застаріває ще до того, як ляже на диск.

Далі розбір. Сирі відповіді — це пакети у форматі передачі, а не охайний експорт. Перетворити мільярди таких пакетів на чисті типізовані записи, до яких реально можна писати запити, — це окремий інженерний проєкт поверх обходу. Більшість команд береться за це, дивиться, як воно зʼїдає квартал, і тихо здається.

Збої навіть не випадкові. Великі провайдери свідомо тротлять масовий резолвінг, тож що ретельніший ваш обхід, то швидше його прикриють. Авторитетні сервери на GeoDNS віддають різні відповіді залежно від локації, тож одна точка огляду мовчки пропускає записи, які зʼявляються лише в одному регіоні. Поки ви обійдете все це інженерно, ви побудуєте маленьку розподілену систему, єдиний результат якої — дані, які хтось уже продає готовими.

Саме цю задачу webatla вже розвʼязала. Ми резолвимо весь простір імен за ковзним графіком, розбираємо кожну відповідь у структурований JSON і віддаємо вам готовий датасет. Ви пропускаєте обхід, бани й розбір і йдете одразу до даних.

Як webatla збирає кожен запис

Відмінність від саморобного обходу — розподіленість і терпіння. webatla резолвить простір імен з багатьох точок огляду за ковзним графіком, тож жоден окремий резолвер не отримує надмірного навантаження, а кожна відповідь проходить валідацію й розбір у типізований запис ще до потрапляння в експорт. Імʼя, яке не вдалося на одному проході, повторюється на наступному, тож покриття з часом зростає, а не деградує. У результаті ви отримуєте саме те, що й було потрібно від початку. Чистий типізований запис для кожного імені, а не купу пакетів для дебагу.

Кожен DNS-запис в одному файлі

Датасет DNS Records від webatla — це відповідь на питання, як отримати всі DNS-записи одразу. Кожен домен, який ми відстежуємо, з його записами A, AAAA, CNAME, MX, TXT, NS, SOA, CAA і DNSSEC, зібраними й розібраними в один чистий датасет. Він охоплює кожен TLD, його перебудовують за ковзним графіком, і він приходить у форматі JSONL, до якого можна писати запити одразу після завантаження.

Не треба тримати ферму резолверів, розбирати пакети чи боротися з лімітами на домен. Ви купуєте один раз і витягуєте кожен запис в інтернеті з одного акаунта, готовий до аналізу за хвилини, а не за місяці.

Як виглядає кожен рядок

Кожен рядок — це одне імʼя і повна картина по ньому. Поряд із самими значеннями кожен рядок несе дату останньої перевірки й ознаку того, чи вдався запит, тож ви завжди знаєте, наскільки свіжа кожна відповідь:

{"domain":"example.com","dnsAt":"2026-06-22","dnsStatus":"TRUE","dnsRecords":{"A":["93.184.216.34"],"MX":[{"host":"mail.example.com","priority":10}],"NS":["a.iana-servers.net","b.iana-servers.net"],"TXT":["v=spf1 -all"],"SOA":{"mname":"ns.icann.org","serial":2026062201,"refresh":7200}}}

Потрібні ще й реєстраційні дані за кожним доменом? Додайте датасет RDAP & WHOIS. Хочете DNS, реєстрацію і технології в одному місці? Набір All Data обʼєднує їх за вас.

Як працювати з файлом

Оскільки це JSONL, один домен на рядок, дані потоком ідуть у jq, DuckDB, pandas чи Spark без завантаження в памʼять. Кілька прикладів.

Витягнути кожне імʼя і його поштові сервери:

jq -c '{domain, mx: .dnsRecords.MX}' dns.jsonl

Знайти кожне імʼя, чиї сервери імен працюють на Cloudflare:

jq -c 'select(.dnsRecords.NS[]? | test("cloudflare"))' dns.jsonl > cloudflare-dns.jsonl

Порахувати імена, які публікують запис SPF, просто по даних:

grep -c '"v=spf1' dns.jsonl

Останній рядок за секунди відповідає на питання поштової безпеки в масштабі всього інтернету. На тих самих даних ми побудували мапу концентрації серверів імен і реєстраторів, і метод там ідентичний. Один файл, один прохід, справжня відповідь.

Що відкриває повний датасет DNS

Щойно кожен запис лежить в одному датасеті, доступному для запитів, купа дорогих задач згортається до однорядкових фільтрів. Цінність не в окремому запиті, який будь-хто зробить руками. Цінність у тому, що всі вони у вас одразу, тож питання, яке раніше означало обхід мільйона імен, стає скануванням датасета, що вже у вас є.

Схема завжди однакова. Складним був не аналіз. Складно було взагалі отримати повні, актуальні, структуровані дані, ще й без команди, яка квартал няньчить кравлер. Приберіть це вузьке місце, і за один вечір ви відповідаєте на питання, які раніше вимагали окремого проєкту й бюджету. Ви платите не за розумний запит. Ви платите за чистий готовий вхід, який робить розумний запит тривіальним.

• Поштова безпека в масштабі. Читайте запис SPF і поштову конфігурацію кожного імені, щоб знайти скриньки, вразливі до підробки відправника, перевірити клієнтську базу або оцінити ринок за поштовим провайдером.
• Мапування поверхні атаки. Ідіть за записами A, AAAA і CNAME, щоб побачити, куди насправді резолвиться домен та його піддомени і які спільні хости збираються в групи. Групування цих записів A за IP перетворює експорт на базу доменів, що ділять один хост.
• Аналітика по провайдерах. Групуйте домени за NS або MX, щоб виміряти, хто веде DNS і пошту для інтернету, і відстежувати міграції в момент, коли вони відбуваються.
• Поширення DNSSEC. Рахуйте записи DS, DNSKEY і RRSIG, щоб побачити, які зони підписані, а які ні.
• Гігієна сертифікатів. Запис CAA показує, яким центрам імʼя довіряє видавати свої сертифікати, тож хибна конфігурація по цілому портфелю виринає за один прохід.
• Відстеження міграцій. Коли компанія переїжджає з поштою чи хостингом, першими змінюються її записи MX і NS, тож спостереження за цими двома типами в часі показує переїзд ще до будь-якого оголошення.

Кожній із цих задач потрібна та сама відправна точка. Один повний актуальний набір DNS-записів для всього доменного простору імен, а не вибірка, яку ви прорезолвили руками.

Завжди свіжі дані, ніколи не разовий дамп

DNS не статичний. Запис A переїжджає, коли сайт змінює хостинг, записи MX змінюються під час поштової міграції, а запис TXT зсувається щоразу, коли хтось оновлює політику безпеки. Файл, який ви прорезолвили пів року тому, — музейний експонат.

Датасет DNS Records від webatla перебудовується за ковзним графіком, і кожне імʼя несе власну позначку часу dnsAt, тож ви завжди бачите, наскільки актуальний кожен запис. Завантажуйте наново з тією частотою, якої вимагає ваша робота, і кожен файл відображає DNS сьогоднішнього дня.

Часті запитання

Які типи DNS-записів включені? Поширені, які використовує кожен домен: A, AAAA, CNAME, MX, TXT, NS, SOA і CAA, плюс записи DNSSEC на кшталт DS, DNSKEY і RRSIG там, де вони є. Усе розібране в типізований JSON, тож ви ніколи не торкаєтеся сирого пакета.

Скільки доменів він охоплює? DNS-записи для доменів у кожному TLD, який відстежує webatla, сотні мільйонів доменів, в одному файлі.

Чи можна взяти лише записи MX або лише TXT? Так. Файл містить кожен тип записів для домену, тож один фільтр jq або SQL дасть вам лише записи MX, лише рядки SPF або будь-який інший зріз, який вам потрібен. Це фільтр, а не окрема покупка.

Який у нього формат? Чистий JSONL, один домен на рядок, DNS-записи як структурований JSON. Він одразу лягає в jq, DuckDB, pandas і BigQuery.

Наскільки актуальні дані? Перебудовується за ковзним графіком, і кожен домен несе дату dnsAt, щоб ви бачили, наскільки свіжі його записи. Ніколи не застарілий разовий дамп.

Чи можна звести записи з власником IP або локацією? Записи A і AAAA дають вам IP-адреси, які ви приєднуєте до джерела IP-аналітики: ASN надійно, географію приблизно.

Чи охоплюють записи піддомени? Набір ключований за зареєстрованим імʼям і фіксує записи, опубліковані на цьому імені.

Скільки це коштує? Одна фіксована ціна за місяць доступу на одному акаунті. Актуальну суму дивіться в тарифах.

Завантажте кожен DNS-запис

Годі будувати ферму резолверів, за яку вас забанять раніше, ніж вона добіжить до кінця. Завантажте датасет DNS Records від webatla → і отримайте кожен DNS-запис кожного домену, від A до DNSSEC, у чистому JSONL, до якого можна писати запити вже сьогодні. Хочете поряд ще й реєстраційні дані та технології? Набір All Data несе DNS і решту в одному місці. Це найшвидший шлях від «мені потрібні всі DNS-записи» до того, щоб вони справді у вас були.