Um censo da internet, com orçamento de investigação
Toda a população de domínios ativos, não uma amostra. 409M domínios com DNS, tecnologia e ranking num único ficheiro que pode medir, citar e voltar a executar. O censo inicial custa €29. Uma amostra gratuita de 10 000 linhas não precisa de conta.
Meça a web inteira, não uma amostra dela
Quatro receitas de agregação sobre o esquema real. A primeira funciona no censo de €29. As restantes usam all-data quando uma pergunta precisa de mais colunas.
DomainTLDDomain typeCountry by IPTechnologiesDNS StatusPR valueHarmonic valueDomain creation date
Domínios por TLD, o censo completo
A medida de população mais simples, e funciona com o dataset inicial de €29. Conte todos os domínios ativos por TLD.
zstdcat webatla-all-active-domains-2026-08-18.jsonl.zst |
jq -r '.TLD' |
sort | uniq -c | sort -rn > domains-by-tld.txt
Adoção de tecnologia em toda a população
Quantos sites utilizam cada tecnologia, contabilizados em todo o ficheiro. O campo de tecnologias existe em duas formas, por isso distinga com base no respetivo tipo JSON.
WITH t AS ( SELECT CASE json_type("Technologies") WHEN 'ARRAY' THEN json_extract_string("Technologies", '$[*]') WHEN 'OBJECT' THEN json_keys("Technologies") ELSE []::VARCHAR[] END AS techs FROM read_json('webatla-all-data-2026-08-18.jsonl.zst', format='newline_delimited', compression='zstd', columns={'Technologies':'JSON'}) ) SELECT tech, count(*) AS sites FROM t, unnest(t.techs) AS u(tech) GROUP BY tech ORDER BY sites DESC LIMIT 25;
Onde a web está alojada
Distribuição de domínios por país de alojamento, a partir do IP resolvido. Um group-by de uma linha sobre toda a exportação.
SELECT "Country by IP" AS country, count(*) AS domains FROM read_json('webatla-all-data-2026-08-18.jsonl.zst', format='newline_delimited', compression='zstd', columns={'Country by IP':'VARCHAR'}) WHERE country IS NOT NULL GROUP BY country ORDER BY domains DESC;
Que parte do espaço de nomes resolve
Um número principal reproduzível. A percentagem de domínios monitorizados que atualmente respondem em DNS, diretamente do ficheiro.
SELECT "DNS Status" AS resolves, count(*) AS n, round(100.0*count(*)/sum(count(*)) OVER (), 2) AS pct FROM read_json('webatla-all-data-2026-08-18.jsonl.zst', format='newline_delimited', compression='zstd', columns={'DNS Status':'VARCHAR'}) GROUP BY resolves ORDER BY n DESC;
Cada receita funciona sem alterações na amostra e no ficheiro completo. Reporte o número que obtém e cite o ficheiro datado de onde veio.
Sim, pode publicar o que encontrar
A distinção honesta entre o trabalho académico e o de mercado.
Publique livremente
- Estatísticas agregadas, tabelas, gráficos e mapas
- Resultados, métodos e conclusões num artigo ou relatório
- Um punhado de domínios de exemplo para ilustrar uma ideia
- Indicadores e índices derivados que você calcula
O trabalho é seu. Cite o dataset e a data do instantâneo para que outros possam alinhar os números deles com os seus.
Comece pelo censoPara partilhar as linhas em bruto, fale primeiro connosco
- Publicar o dataset em bruto como dados de replicação ou complementares
- Redistribuir o ficheiro na totalidade ou partes substanciais deste
Isso é redistribuição, que exige um acordo escrito. Se uma revista exigir dados de replicação abertos, diga-nos. Preferimos ajudá-lo a cumprir esse requisito do que deixá-lo sem saída.
Pergunte pelas condições académicasO que o torna adequado para investigação
Não é mais uma API que tenha de ressalvar na secção de métodos.
População, não uma amostra
Mede cada domínio ativo que monitorizamos, por isso o seu denominador é o real. Nenhuma base de amostragem a justificar perante um avaliador.
Um snapshot fixo e citável
Cada exportação é datada. Cite o ficheiro e a data, e qualquer pessoa pode pedir o mesmo snapshot e reproduzir a sua tabela.
Cite números exatos
A contagem é a contagem. 409,807,815 domínios neste snapshot, não uma estimativa por trás de um limite de pedidos que responde de forma diferente a cada execução.
Cabe numa rubrica de financiamento
O censo inicial custa €29 e tudo combinado custa €599. Isso cabe na maioria dos orçamentos de tese e de departamento, sem ciclo de aquisição.
Formato aberto e aborrecido
Um ficheiro com um JSON por linha. Nenhum leitor proprietário para descrever na secção de métodos, nenhum cliente para instalar numa máquina restrita.
Apenas registos públicos
Sem dados pessoais de contacto: sem nomes, e-mails ou números de telefone. Dados de registo, DNS e tecnologia, o tipo de dados que uma comissão de ética aprova sem objeções.
Por onde começar
Compre o dataset mais pequeno que responda à sua pergunta. Suba de nível apenas quando precisar de mais colunas.
all-active-domains, €29
O censo. Todos os domínios ativos com a sua TLD e o seu tipo. Suficiente para contagens de população, estudos por TLD e linhas de base de cobertura.
technologies, €159
Stacks detetadas por domínio para estudos de adoção em 3,034 tecnologias.
websites-ranking, €99
PageRank e autoridade harmónica para estudos de centralidade e alcance.
all-data, €599
Todas as colunas unidas por uma única chave. Para quando a sua pergunta abrange DNS, WHOIS, tecnologia e ranking ao mesmo tempo.
Perguntas que um avaliador faria
Respondidas sem rodeios.
É a população total ou uma amostra?
Toda a população de domínios ativos que monitorizamos, 409,807,815 domínios no instantâneo atual. Não é uma amostra, portanto as suas taxas e proporções usam o denominador real.
Como torno isto reprodutível?
Todas as exportações têm a data no nome do ficheiro. Cite o dataset e essa data. O ficheiro é fixo, portanto o mesmo instantâneo produz os mesmos números em qualquer máquina. Se alguém precisar do instantâneo exato que utilizou, remeta-o para nós.
Posso publicar os resultados?
Sim. As estatísticas agregadas, as figuras, os indicadores derivados e as conclusões são suas para publicar. Partilhar as linhas em bruto como dados de replicação é redistribuição e exige um acordo escrito, e temos todo o gosto em organizar isso caso uma revista o exija. Veja a divisão acima.
Qual é a posição sobre ética e dados pessoais?
Apenas dados públicos de registo, DNS e tecnologias. Sem dados pessoais de contacto: sem nomes de titulares, e-mails ou números de telefone. A conceção é deliberada, o que normalmente torna a revisão ética breve.
A metodologia está documentada?
Um esquema único, estável e documentado em todos os datasets, com as mesmas chaves em cada linha. Os sinais de classificação, PageRank e harmonic centrality, são calculados por nós no grafo que indexamos.
Faça a sua primeira medição gratuitamente
10 000 linhas reais, sem necessidade de conta. Se os números se confirmarem, o censo completo custa €29 e todas as colunas custam €599.