Comment télécharger tous les enregistrements DNS

Chaque enregistrement DNS de chaque domaine sur internet, dans un seul fichier. C’est à cela que revient vraiment l’obtention du tableau complet, et il existe une seule manière propre d’y parvenir. Vous ne voulez pas d’un script qui martèle des résolveurs pendant une semaine et qui expire encore sur la moitié d’internet. Vous voulez les entrées A, MX, TXT et NS de centaines de millions de noms, déjà collectées, analysées et prêtes à être interrogées. C’est ce que vous achetez.

Qu’est-ce qu’un enregistrement DNS ?

Un enregistrement DNS est une ligne dans le carnet d’adresses d’internet. Il indique au monde où vit un nom et la manière de le joindre. Quel serveur répond sur le web, où va son courrier électronique, quels serveurs de noms font autorité, et bien plus encore. Chaque nom actif en porte une poignée, et ensemble ils forment l’empreinte opérationnelle de ce domaine.

Il existe quelques types d’enregistrements que l’on croise sans cesse :

Récupérez tous ces éléments pour un seul nom et vous savez comment il est hébergé, qui gère son courrier et quelle sécurité son propriétaire a mise en place. Récupérez-les pour tous les noms à la fois et vous détenez une carte de l’infrastructure entière d’internet. Ce second dataset est celui qui vaut la peine d’être possédé, et celui que personne ne distribue gratuitement.

Les enregistrements qui font le plus gros du travail

Une poignée de ces types portent l’essentiel du signal. L’enregistrement A est celui que la plupart des gens imaginent, faisant correspondre un nom à une adresse IPv4 pour qu’un navigateur sache quel serveur atteindre. L’enregistrement MX joue le même rôle pour le courrier électronique, en nommant les serveurs qui acceptent un message et en les classant par priorité. L’enregistrement TXT est la cheville ouvrière discrète de la sécurité du courrier électronique. Sur le domaine lui-même, l’enregistrement SPF liste qui est autorisé à envoyer du courrier en votre nom. Les clés de signature DKIM correspondantes et la politique DMARC vivent sur des sous-noms dédiés (_domainkey et _dmarc), et ensemble ces trois éléments indiquent le niveau de protection d’une adresse, car c’est la politique DMARC, et non la simple présence des enregistrements, qui fait respecter quoi que ce soit. L’enregistrement NS nomme les serveurs faisant autorité qui répondent pour la zone, ce qui indique qui gère réellement la résolution d’un nom.

Pourquoi vous ne pouvez pas récupérer vous-même tous les enregistrements DNS

En théorie, vous pourriez résoudre chaque nom avec dig dans une boucle. En pratique, ce plan meurt vite. Il existe des centaines de millions de domaines, et chacun nécessite plusieurs requêtes pour capturer chaque type, si bien que vous vous retrouvez face à des milliards de recherches. Les résolveurs publics limitent le débit puis vous bloquent bien avant que vous ayez terminé. Les serveurs faisant autorité freinent aussi. Les délais d’attente, les nouvelles tentatives et les échecs transitoires font qu’une seule passe n’est jamais complète, et tout continue de changer pendant que le crawl tourne, si bien que la réponse est déjà obsolète au moment où elle arrive.

Vient ensuite l’analyse. Les réponses brutes sont des paquets au format binaire, pas un export propre. Transformer des milliards d’entre elles en entrées propres et typées que vous pouvez réellement interroger est un projet d’ingénierie à part entière, en plus du crawl. La plupart des équipes s’y lancent, regardent le projet dévorer un trimestre entier, puis abandonnent discrètement.

Les échecs ne sont même pas aléatoires. Les grands fournisseurs freinent délibérément la résolution en masse, si bien que plus votre crawl est minutieux, plus vite il se fait couper. Les serveurs faisant autorité qui utilisent le GeoDNS renvoient des réponses différentes selon la localisation, si bien qu’un point d’observation unique manque silencieusement des enregistrements qui n’apparaissent que dans une seule région. Le temps que vous ayez contourné tout cela par de l’ingénierie, vous avez construit un petit système distribué dont la seule sortie est une donnée que quelqu’un vend déjà toute prête.

C’est le problème que webatla a déjà résolu. Nous résolvons l’espace de noms entier selon un calendrier glissant, nous analysons chaque réponse en JSON structuré, et nous vous remettons le dataset terminé. Vous sautez le crawl, les bannissements et l’analyse, et vous allez droit à la donnée.

Comment webatla collecte chaque enregistrement

La différence avec un crawl artisanal, c’est la distribution et la patience. webatla résout l’espace de noms depuis de nombreux points d’observation selon un calendrier glissant, si bien qu’aucun résolveur unique n’est jamais martelé, et chaque réponse est validée et analysée en une entrée typée avant d’atteindre l’export. Un nom qui échoue à une passe est retenté à la suivante, si bien que la couverture progresse dans le temps au lieu de se dégrader. Le résultat, c’est la partie que vous vouliez réellement depuis le début. Une entrée propre et typée pour chaque nom, pas un tas de paquets à déboguer.

Chaque enregistrement DNS, dans un seul fichier

Le dataset DNS de webatla est la réponse pour obtenir tous les enregistrements DNS en une fois. Chaque domaine que nous suivons, avec ses entrées A, AAAA, CNAME, MX, TXT, NS, SOA, CAA et DNSSEC collectées et analysées dans un seul dataset propre. Il couvre chaque TLD, il est reconstruit sur une base glissante, et il arrive au format JSONL que vous pouvez interroger dès son arrivée.

Pas de ferme de résolveurs à faire tourner, pas de paquets à analyser, pas de limite de débit par domaine à combattre. Vous l’achetez une fois et vous récupérez chaque enregistrement d’internet depuis un seul compte, prêt pour l’analyse en quelques minutes plutôt qu’en plusieurs mois.

À quoi ressemble chaque ligne

Chaque ligne correspond à un nom et à son tableau complet. Aux côtés des valeurs elles-mêmes, chaque ligne indique quand la donnée a été vérifiée pour la dernière fois et si la recherche a réussi, si bien que vous savez toujours à quel point chaque réponse est fraîche :

{"domain":"example.com","dnsAt":"2026-06-22","dnsStatus":"TRUE","dnsRecords":{"A":["93.184.216.34"],"MX":[{"host":"mail.example.com","priority":10}],"NS":["a.iana-servers.net","b.iana-servers.net"],"TXT":["v=spf1 -all"],"SOA":{"mname":"ns.icann.org","serial":2026062201,"refresh":7200}}}

Besoin aussi des détails d’enregistrement derrière chaque domaine ? Superposez le dataset RDAP et WHOIS. Vous voulez le DNS, l’enregistrement et les technologies au même endroit ? Le bundle all-data les réunit pour vous.

Comment travailler avec le fichier

Comme il s’agit de JSONL, un domaine par ligne, la donnée s’écoule dans jq, DuckDB, pandas ou Spark sans être chargée en mémoire. Quelques exemples.

Récupérez chaque nom et ses serveurs de courrier :

jq -c '{domain, mx: .dnsRecords.MX}' dns.jsonl

Trouvez chaque nom dont les serveurs de noms tournent sur Cloudflare :

jq -c 'select(.dnsRecords.NS[]? | test("cloudflare"))' dns.jsonl > cloudflare-dns.jsonl

Comptez les noms qui publient un enregistrement SPF, directement sur la donnée :

grep -c '"v=spf1' dns.jsonl

Cette dernière ligne répond à une question de sécurité du courrier électronique pour tout internet en quelques secondes. Nous avons utilisé cette même donnée pour cartographier la concentration des serveurs de noms et des registrars, et la méthode est identique. Un fichier, une passe, une vraie réponse.

Ce qu’un dataset DNS complet déverrouille

Une fois que chaque entrée se trouve dans un seul dataset interrogeable, un grand nombre de problèmes coûteux se réduisent à des filtres d’une seule ligne. La valeur ne tient pas à une recherche isolée, que n’importe qui peut effectuer à la main. Elle tient au fait de les détenir toutes à la fois, si bien qu’une question qui exigeait auparavant d’explorer un million de noms devient un simple balayage d’un dataset que vous possédez déjà.

Le schéma est toujours le même. La partie difficile n’a jamais été l’analyse. C’était d’obtenir, dès le départ, une donnée complète, à jour et structurée, et de le faire sans qu’une équipe surveille un crawler pendant tout un trimestre. Supprimez ce goulot d’étranglement et les questions auxquelles vous pouvez répondre en un après-midi sont celles qui exigeaient autrefois un projet et un budget. Ce que vous payez n’est pas une requête habile. C’est l’entrée propre et terminée qui rend la requête habile triviale.

• Sécurité du courrier électronique à grande échelle. Lisez l’enregistrement SPF et la configuration du courrier pour chaque nom afin de repérer les boîtes de réception usurpables, d’auditer une base de clients ou de dimensionner un marché par fournisseur de messagerie.
• Cartographie de la surface d’attaque. Suivez les enregistrements A, AAAA et CNAME pour voir où un domaine et ses sous-domaines se résolvent réellement, et quels hébergeurs partagés se regroupent. Regrouper ces enregistrements A par IP transforme l’export en une base de données de domaines hébergés.
• Renseignement sur les fournisseurs. Regroupez les domaines par NS ou MX pour mesurer qui gère le DNS et le courrier électronique pour internet, et suivez les migrations au fil de leur déroulement.
• Adoption de DNSSEC. Comptez les enregistrements DS, DNSKEY et RRSIG pour voir quelles zones sont signées et lesquelles ne le sont pas.
• Hygiène des certificats. Un enregistrement CAA indique quelles autorités un nom autorise à émettre ses certificats, si bien qu’une mauvaise configuration sur tout un portefeuille apparaît en une seule passe.
• Suivi des migrations. Quand une entreprise change de courrier électronique ou d’hébergement, ses entrées MX et NS changent en premier, si bien que surveiller ces deux types d’enregistrements dans le temps révèle le déménagement avant toute annonce.

Chacun de ces cas exige le même point de départ. Un ensemble complet et à jour d’enregistrements DNS pour tout l’espace de noms de domaines, pas un échantillon que vous auriez résolu à la main.

Toujours frais, jamais un déversement ponctuel

Le DNS n’est pas statique. Un enregistrement A se déplace quand un site change d’hébergeur, les enregistrements MX changent lors d’une migration de courrier électronique, et un enregistrement TXT évolue chaque fois que quelqu’un met à jour une politique de sécurité. Un fichier que vous avez résolu il y a six mois est une pièce de musée.

Le dataset DNS de webatla est reconstruit selon un calendrier glissant, et chaque nom porte son propre horodatage dnsAt, si bien que vous voyez toujours à quel point chaque entrée est à jour. Relancez la récupération selon le rythme dont votre travail a besoin, et chaque fichier reflète le DNS d’aujourd’hui.

Questions fréquentes

Quels types d’enregistrements DNS sont inclus ? Les types courants qu’utilise chaque domaine, dont A, AAAA, CNAME, MX, TXT, NS, SOA et CAA, ainsi que les enregistrements DNSSEC comme DS, DNSKEY et RRSIG quand ils sont présents. Tout est analysé en JSON typé, si bien que vous ne touchez jamais un paquet brut.

Combien de domaines cela couvre-t-il ? Les enregistrements DNS des domaines de chaque TLD que webatla suit, soit des centaines de millions de domaines, dans un seul fichier.

Puis-je obtenir seulement les enregistrements MX ou seulement les enregistrements TXT ? Oui. Le fichier contient chaque type d’enregistrement par domaine, si bien qu’un simple filtre jq ou SQL vous donne uniquement les enregistrements MX, uniquement les chaînes SPF, ou toute autre tranche dont vous avez besoin. C’est un filtre, pas un achat séparé.

Quel est le format ? Du JSONL propre, un domaine par ligne, avec les enregistrements DNS en JSON structuré. Il s’intègre directement dans jq, DuckDB, pandas et BigQuery.

À quel point la donnée est-elle à jour ? Reconstruite selon un calendrier glissant, et chaque domaine porte une date dnsAt pour que vous puissiez voir à quel point ses enregistrements sont frais. Jamais un déversement ponctuel et obsolète.

Puis-je faire correspondre les enregistrements à la propriété ou à la localisation d’une IP ? Les enregistrements A et AAAA vous donnent les adresses IP, que vous croisez avec une source de renseignement IP pour obtenir l’ASN de façon fiable et la géographie de façon approximative.

Les enregistrements couvrent-ils les sous-domaines ? L’ensemble est indexé par le nom enregistré, et il capture les entrées publiées à ce nom.

Combien cela coûte-t-il ? Un prix unique pour un mois d’accès sur un seul compte. Consultez la page tarifs pour le chiffre actuel.

Téléchargez chaque enregistrement DNS

Arrêtez de construire une ferme de résolveurs qui vous fait bannir avant même d’avoir terminé. Téléchargez le dataset DNS de webatla → et obtenez chaque enregistrement DNS de chaque domaine, de A à DNSSEC, en JSONL propre que vous pouvez interroger dès aujourd’hui. Vous voulez aussi la donnée d’enregistrement et de technologies ? Le bundle all-data réunit le DNS et le reste au même endroit. C’est le chemin le plus rapide entre « J’ai besoin de tous les enregistrements DNS » et le fait de les avoir réellement.