---
title: "Dados de domínios para equipas de dados e ML"
description: "Todos os domínios ativos com DNS, WHOIS, tecnologia e ranking num único ficheiro JSONL. Receitas testadas de jq, DuckDB e Python, sem faturação por linha."
url: https://webatla.com/pt/use-cases/data-teams
---

# Enriqueça tudo o que contenha um domínio, a partir de um único ficheiro JSONL

426M domínios ativos com sinais de DNS, WHOIS, tecnologia e ranking, uma linha por domínio, reconstruídos diariamente. O export completo custa €599. Treine modelos, pontue os seus registos e lance o seu próprio produto de dados por cima.

[Obtenha a amostra gratuita de 10K](https://webatla.com/api/v1/preview?dataset=all-data)
[Ver all-data, €599](https://webatla.com/pt/datasets/all-data)

[Posso construir um produto com isto? Ler a licença →](https://webatla.com/pt/use-cases/data-teams#license)

426M+, domínios ativos, uma linha cada

€1,41, por 1M de registos completos

39,3 GB, um ficheiro JSONL por exportação

Diário, exportações reconstruídas, mesmo esquema

## O seu pipeline, o nosso ficheiro

Quatro receitas sobre o esquema real. Cada chave abaixo é exatamente o que é incluído na exportação. Todas funcionam também na amostra gratuita de 10 000 linhas. Para manter apenas os domínios que resolvem, selecione as linhas em que «DNS Status» é «TRUE».

`Domain` `TLD` `Domain type` `HTTP status` `IP address` `Country by IP` `Technologies` `DNS records` `PR value` `Harmonic value` `Registrar` `Domain creation date` `Domain expiration date` `RDAP/WHOIS Record`

### Uma lista de leads, diretamente do ficheiro

Cada site WordPress que publica um registo MX, transmitido diretamente a partir da exportação. Nada é guardado em disco.

bash + jq

```
# Technologies ships as a list of names, or a name-to-version map.
# One line normalizes both shapes.
zstdcat webatla-all-data-2026-11-16.jsonl.zst |
jq -c 'def techs: (.Technologies // []) | if type == "object" then keys else . end;
   select(techs | index("WordPress"))
   | select((."DNS records" // {}) | has("MX"))
   | {domain: .Domain, tld: .TLD, rank: ."PR value"}' \
  > wordpress-with-mail.jsonl
```

### Adoção de tecnologia por TLD

Agregue dados de 1429 TLD diretamente sobre o ficheiro, sem etapa de carregamento. O DuckDB lê o campo technology como JSON, portanto peça-lhe primeiro o tipo.

duckdb

```
SELECT "TLD", count(*) AS domains
FROM read_json('webatla-all-data-2026-11-16.jsonl.zst',
       format='newline_delimited', compression='zstd',
       columns={'TLD':'VARCHAR', 'Technologies':'JSON'})
WHERE list_contains(
        CASE json_type("Technologies")
          WHEN 'ARRAY'  THEN json_extract_string("Technologies", '$[*]')
          WHEN 'OBJECT' THEN json_keys("Technologies")
          ELSE []::VARCHAR[] END, 'WordPress')
GROUP BY "TLD" ORDER BY domains DESC LIMIT 20;
```

### Enriqueça o seu CRM através da chave de domínio

Faça um LEFT JOIN dos seus próprios registos com a exportação. País, ranking e stack aparecem ao lado de cada linha que já tinha.

duckdb

```
SELECT c.*, w."Country by IP", w."PR value", w."Registrar"
FROM 'crm.csv' c
LEFT JOIN (
  SELECT "Domain", "Country by IP", "PR value", "Registrar"
  FROM read_json('webatla-all-data-2026-11-16.jsonl.zst',
         format='newline_delimited', compression='zstd',
         columns={'Domain':'VARCHAR', 'Country by IP':'VARCHAR',
                  'PR value':'DOUBLE', 'Registrar':'VARCHAR'})
) w ON lower(c.domain) = w."Domain";
```

### Passagem com memória constante num portátil

Transmita todas as 425 938 876 linhas sem manter o ficheiro em RAM. Construa features, pontue-as e exporte-as.

python

```
import io, json, zstandard as zstd

with open("webatla-all-data-2026-11-16.jsonl.zst", "rb") as f:
    for line in io.TextIOWrapper(zstd.ZstdDecompressor().stream_reader(f)):
        r = json.loads(line)
        t = r.get("Technologies") or []
        names = list(t) if isinstance(t, dict) else t
        if "WordPress" in names and (r.get("DNS records") or {}).get("MX"):
            print(r["Domain"], r.get("Registrar"))
```

A receita um e a receita quatro são a mesma consulta em dois motores, e na mesma exportação devolvem as mesmas linhas. Verificar o mesmo filtro em duas ferramentas é a forma correta de validar qualquer pipeline que construa sobre isto.

## Pode construir um produto com isto? Sim

Há uma única regra. Utilize os dados para qualquer finalidade lícita. Desenvolva produtos com base neles, venda o que criar ou revenda as próprias linhas.

### Permitido por defeito

- Enriquecer os seus próprios registos e os registos dos seus clientes

- Treinar modelos e vender as pontuações, classificações e veredictos

- Alimentar pesquisas e funcionalidades dentro do seu produto

- Publicar análises agregadas, estudos e relatórios

Aquilo que constrói pertence-lhe. Comprar um dataset dá-lhe a licença, não a base de dados subjacente.

[Começar com all-data](https://webatla.com/pt/datasets/all-data)

### A revenda também é permitida

- Revender ou redistribuir os datasets em bruto, na totalidade ou em parte

- Sublicenciar o export a terceiros

Sem acordo separado e sem custos adicionais. A sua única obrigação é cumprir a lei aplicável à sua utilização, como a legislação antispam e de proteção de dados.

[Dúvidas? Fale connosco](https://webatla.com/pt/contact?topic=sales)

O único teste é saber se a sua utilização é lícita. Vender o que construiu e vender as próprias linhas passam ambos nesse teste. O texto completo está nos [termos](https://webatla.com/pt/terms).

## O que isto faz ao seu custo de vendas

O preço de enriquecimento cobrado por utilização cresce com o seu volume, pelo que a sua margem diminui precisamente quando tem sucesso. Um ficheiro plano não tem esse problema.

all-data, exportação completa, €599

registos na exportação, 425 938 876

novas descargas durante um mês, ilimitado

faturação por pedido, nenhum

425 938 876 ÷ €599
**€1,41 / 1M registos**

#### A sua rubrica de dados arredonda para zero

A €1,41 por milhão de registos completos, o custo dos dados subjacentes deixa de ser uma rubrica que valha a pena otimizar.

#### O custo deixa de acompanhar a utilização

A sua margem deixa de diminuir à medida que o produto cresce. O ficheiro custa o mesmo quer o consulte uma vez quer mil milhões de vezes.

#### Comece mais pequeno, se preferir

all-active-domains custa €29 pelo espaço de nomes completo. Valide o pipeline e, depois, leve todas as colunas.

## Encaixa onde os seus dados já vivem

Um ficheiro JSON delimitado por quebras de linha, em compressão padrão. Sem SDK, sem formato proprietário, sem cliente de fornecedor.

#### jq e shell

Transmita o ficheiro em streaming e filtre-o. Nunca precisa de o escrever todo para o disco.

#### DuckDB e ClickHouse

Ambos leem JSON delimitado por quebras de linha diretamente, compressão incluída. Declare as colunas para evitar a inferência de tipos nas linhas largas.

#### Spark e pandas

Leitores JSONL padrão. Em blocos ou em streaming, o esquema é o mesmo em cada linha.

#### BigQuery

O BigQuery carrega NDJSON simples, por isso descomprima ao importar ou guarde primeiro o ficheiro no armazenamento.

#### Polars e Arrow

Analise o ficheiro em modo lazy e filtre antes que algo seja materializado. Passe o resultado diretamente para o Arrow.

#### Snowflake e Databricks

Ambos ingerem JSON delimitado por quebras de linha a partir do armazenamento de objetos. Guarde o ficheiro uma vez e depois aponte um stage ou um volume para ele.

## As perguntas que os engenheiros realmente fazem

Respondidas sem rodeios.

### O esquema é estável entre exportações?

Sim, as chaves e o seu significado mantêm-se estáveis entre reconstruções diárias, e estão documentados. Vale a pena conhecer algumas formas antes de escrever o parser. Technologies chega como uma lista de nomes, ou como um mapa de nome para versão quando detetamos versões. DNS records é um objeto indexado pelo tipo de registo. Os tipos de registo contêm listas, SOA é um único objeto e os campos derivados podem ser cadeias de texto, booleanos ou objetos. Os campos vazios chegam como null em vez de serem omitidos, por isso cada linha tem as mesmas chaves.

### Quão atualizado está?

Cada dataset é reconstruído diariamente. O acesso inclui um mês civil de novas descargas, para que possa obter a exportação mais recente tantas vezes quantas a sua pipeline quiser.

### Posso incluir isto num produto que vendo?

Sim. O enriquecimento, os scores, as classificações, as pesquisas, as informações agregadas e as próprias linhas em bruto são todos seus para vender, desde que a sua utilização cumpra a lei. Consulte a [secção da licença](https://webatla.com/pt/use-cases/data-teams#license) acima.

### O que está nos registos, e o que não está

Registos públicos de registo, DNS e tecnologia. Os datasets não foram concebidos para conter dados pessoais de contacto, como nomes de titulares, emails ou números de telefone, e tomamos medidas para os excluir. Se alguma vez encontrar dados pessoais numa linha, trate-os como dados pessoais nos termos da lei e informe-nos.

### Tenho de descarregar 30 GB para o testar?

Não. Cada dataset tem uma amostra de 10 000 linhas, disponível com uma conta gratuita. A API bearer incluída também serve um fragmento de cada vez por TLD, país ou tecnologia, a 240 pedidos por minuto.

## Execute uma receita em 10 000 linhas reais

Basta uma conta gratuita. Se a amostra for processada sem erros no seu pipeline, o export completo custa €599 e o esquema não muda.

[Obtenha a amostra gratuita de 10K](https://webatla.com/api/v1/preview?dataset=all-data)
[Ver all-data](https://webatla.com/pt/datasets/all-data)
