Enriqueça tudo o que contenha um domínio, a partir de um único ficheiro JSONL
425M domínios ativos com sinais de DNS, WHOIS, tecnologia e ranking, uma linha por domínio, reconstruídos diariamente. O export completo custa €599. Treine modelos, pontue os seus registos e lance o seu próprio produto de dados por cima.
O seu pipeline, o nosso ficheiro
Quatro receitas sobre o esquema real. Cada chave abaixo é exatamente o que é incluído na exportação. Todas funcionam também na amostra gratuita de 10 000 linhas. Para manter apenas os domínios que resolvem, selecione as linhas em que «DNS Status» é «TRUE».
DomainTLDDomain typeHTTP statusIP addressCountry by IPTechnologiesDNS recordsPR valueHarmonic valueRegistrarDomain creation dateDomain expiration dateRDAP/WHOIS Record
Uma lista de leads, diretamente do ficheiro
Cada site WordPress que publica um registo MX, transmitido diretamente a partir da exportação. Nada é guardado em disco.
# Technologies ships as a list of names, or a name-to-version map. # One line normalizes both shapes. zstdcat webatla-all-data-2026-11-16.jsonl.zst | jq -c 'def techs: (.Technologies // []) | if type == "object" then keys else . end; select(techs | index("WordPress")) | select((."DNS records" // {}) | has("MX")) | {domain: .Domain, tld: .TLD, rank: ."PR value"}' \ > wordpress-with-mail.jsonl
Adoção de tecnologia por TLD
Agregue dados de 1429 TLD diretamente sobre o ficheiro, sem etapa de carregamento. O DuckDB lê o campo technology como JSON, portanto peça-lhe primeiro o tipo.
SELECT "TLD", count(*) AS domains FROM read_json('webatla-all-data-2026-11-16.jsonl.zst', format='newline_delimited', compression='zstd', columns={'TLD':'VARCHAR', 'Technologies':'JSON'}) WHERE list_contains( CASE json_type("Technologies") WHEN 'ARRAY' THEN json_extract_string("Technologies", '$[*]') WHEN 'OBJECT' THEN json_keys("Technologies") ELSE []::VARCHAR[] END, 'WordPress') GROUP BY "TLD" ORDER BY domains DESC LIMIT 20;
Enriqueça o seu CRM através da chave de domínio
Faça um LEFT JOIN dos seus próprios registos com a exportação. País, ranking e stack aparecem ao lado de cada linha que já tinha.
SELECT c.*, w."Country by IP", w."PR value", w."Registrar" FROM 'crm.csv' c LEFT JOIN ( SELECT "Domain", "Country by IP", "PR value", "Registrar" FROM read_json('webatla-all-data-2026-11-16.jsonl.zst', format='newline_delimited', compression='zstd', columns={'Domain':'VARCHAR', 'Country by IP':'VARCHAR', 'PR value':'DOUBLE', 'Registrar':'VARCHAR'}) ) w ON lower(c.domain) = w."Domain";
Passagem com memória constante num portátil
Transmita todas as 425 938 876 linhas sem manter o ficheiro em RAM. Construa features, pontue-as e exporte-as.
import io, json, zstandard as zstd with open("webatla-all-data-2026-11-16.jsonl.zst", "rb") as f: for line in io.TextIOWrapper(zstd.ZstdDecompressor().stream_reader(f)): r = json.loads(line) t = r.get("Technologies") or [] names = list(t) if isinstance(t, dict) else t if "WordPress" in names and (r.get("DNS records") or {}).get("MX"): print(r["Domain"], r.get("Registrar"))
A receita um e a receita quatro são a mesma consulta em dois motores, e na mesma exportação devolvem as mesmas linhas. Verificar o mesmo filtro em duas ferramentas é a forma correta de validar qualquer pipeline que construa sobre isto.
Pode construir um produto com isto? Sim
Há uma única regra. Utilize os dados para qualquer finalidade lícita. Desenvolva produtos com base neles, venda o que criar ou revenda as próprias linhas.
Permitido por defeito
- Enriquecer os seus próprios registos e os registos dos seus clientes
- Treinar modelos e vender as pontuações, classificações e veredictos
- Alimentar pesquisas e funcionalidades dentro do seu produto
- Publicar análises agregadas, estudos e relatórios
Aquilo que constrói pertence-lhe. Comprar um dataset dá-lhe a licença, não a base de dados subjacente.
Começar com all-dataA revenda também é permitida
- Revender ou redistribuir os datasets em bruto, na totalidade ou em parte
- Sublicenciar o export a terceiros
Sem acordo separado e sem custos adicionais. A sua única obrigação é cumprir a lei aplicável à sua utilização, como a legislação antispam e de proteção de dados.
Dúvidas? Fale connoscoO único teste é saber se a sua utilização é lícita. Vender o que construiu e vender as próprias linhas passam ambos nesse teste. O texto completo está nos termos.
O que isto faz ao seu custo de vendas
O preço de enriquecimento cobrado por utilização cresce com o seu volume, pelo que a sua margem diminui precisamente quando tem sucesso. Um ficheiro plano não tem esse problema.
A sua rubrica de dados arredonda para zero
A €1,41 por milhão de registos completos, o custo dos dados subjacentes deixa de ser uma rubrica que valha a pena otimizar.
O custo deixa de acompanhar a utilização
A sua margem deixa de diminuir à medida que o produto cresce. O ficheiro custa o mesmo quer o consulte uma vez quer mil milhões de vezes.
Comece mais pequeno, se preferir
all-active-domains custa €29 pelo espaço de nomes completo. Valide o pipeline e, depois, leve todas as colunas.
Encaixa onde os seus dados já vivem
Um ficheiro JSON delimitado por quebras de linha, em compressão padrão. Sem SDK, sem formato proprietário, sem cliente de fornecedor.
jq e shell
Transmita o ficheiro em streaming e filtre-o. Nunca precisa de o escrever todo para o disco.
DuckDB e ClickHouse
Ambos leem JSON delimitado por quebras de linha diretamente, compressão incluída. Declare as colunas para evitar a inferência de tipos nas linhas largas.
Spark e pandas
Leitores JSONL padrão. Em blocos ou em streaming, o esquema é o mesmo em cada linha.
BigQuery
O BigQuery carrega NDJSON simples, por isso descomprima ao importar ou guarde primeiro o ficheiro no armazenamento.
Polars e Arrow
Analise o ficheiro em modo lazy e filtre antes que algo seja materializado. Passe o resultado diretamente para o Arrow.
Snowflake e Databricks
Ambos ingerem JSON delimitado por quebras de linha a partir do armazenamento de objetos. Guarde o ficheiro uma vez e depois aponte um stage ou um volume para ele.
As perguntas que os engenheiros realmente fazem
Respondidas sem rodeios.
O esquema é estável entre exportações?
Sim, as chaves e o seu significado mantêm-se estáveis entre reconstruções diárias, e estão documentados. Vale a pena conhecer algumas formas antes de escrever o parser. Technologies chega como uma lista de nomes, ou como um mapa de nome para versão quando detetamos versões. DNS records é um objeto indexado pelo tipo de registo. Os tipos de registo contêm listas, SOA é um único objeto e os campos derivados podem ser cadeias de texto, booleanos ou objetos. Os campos vazios chegam como null em vez de serem omitidos, por isso cada linha tem as mesmas chaves.
Quão atualizado está?
Cada dataset é reconstruído diariamente. O acesso inclui um mês civil de novas descargas, para que possa obter a exportação mais recente tantas vezes quantas a sua pipeline quiser.
Posso incluir isto num produto que vendo?
Sim. O enriquecimento, os scores, as classificações, as pesquisas, as informações agregadas e as próprias linhas em bruto são todos seus para vender, desde que a sua utilização cumpra a lei. Consulte a secção da licença acima.
O que está nos registos, e o que não está
Registos públicos de registo, DNS e tecnologia. Os datasets não foram concebidos para conter dados pessoais de contacto, como nomes de titulares, emails ou números de telefone, e tomamos medidas para os excluir. Se alguma vez encontrar dados pessoais numa linha, trate-os como dados pessoais nos termos da lei e informe-nos.
Tenho de descarregar 30 GB para o testar?
Não. Cada dataset tem uma amostra de 10 000 linhas, disponível com uma conta gratuita. A API bearer incluída também serve um fragmento de cada vez por TLD, país ou tecnologia, a 240 pedidos por minuto.
Execute uma receita em 10 000 linhas reais
Basta uma conta gratuita. Se a amostra for processada sem erros no seu pipeline, o export completo custa €599 e o esquema não muda.