Descarregar sites que utilizam OpenResty

Sobre OpenResty

O OpenResty costuma ser descrito como um servidor web, e essa descrição fica aquém do que ele faz. Pega num proxy bem conhecido e embute um ambiente de execução de scripts dentro do caminho do pedido, o que transforma configuração em programação. As equipas recorrem a ele quando a lógica de encaminhamento ultrapassou o que um ficheiro de configuração consegue exprimir e não querem uma camada de aplicação separada só para decidir sobre um cabeçalho.

Em outubro de 2026 detetamo-lo em 8 306 224 sites. Deteções desta escala surpreendem num componente de que a maioria dos donos de sites nunca ouviu falar, e a explicação é que não foram eles a escolhê-lo. As plataformas de alojamento e as camadas de distribuição de conteúdos instalam-no por baixo dos seus próprios produtos, pelo que uma única decisão de um fornecedor se propaga a todos os clientes de uma só vez.

É esse padrão de propagação que torna a população interessante. As deteções agrupam-se por fornecedor e não por setor ou dimensão, pelo que a presença deste componente é muitas vezes uma impressão digital fiável da plataforma em que um site corre de facto, mesmo quando a plataforma não é identificável por outra via. É um indício de infraestrutura e não uma preferência.

Os dados de versão sustentam essa leitura. Vemos 54 cadeias de versão distintas em produção, sendo 1.31.1.1 a mais comum. Uma distribuição assim concentrada num punhado de versões é a assinatura de implantações geridas centralmente e não de instalações individuais, o que é o oposto do aspeto que tem um servidor instalado por conta própria.

Nos Estados Unidos concentram-se 2 313 603 das deteções e a zona .com lidera, seguindo mais uma vez a geografia do alojamento e não um mercado para o próprio software.

Para quem vende no mercado de alojamento ou de distribuição, esta é uma das populações mais acionáveis do índice, porque identifica decisões de infraestrutura tomadas por empresas e não por donos de sites individuais. Um único fornecedor representa aqui milhares de linhas, e encontrar os fornecedores é uma questão de agrupar a população pelas outras tecnologias que a acompanham.

A exportação da webatla torna esse agrupamento barato. Cada domínio em que o detetamos chega com a cadeia de versão, o país de alojamento, o TLD e o resto da pilha identificada, num único ficheiro reconstruído diariamente. O trabalho de agrupamento acontece localmente, onde se pode iterar sobre o agrupamento até as fronteiras entre fornecedores se tornarem óbvias.

Há outra consequência da adoção ao nível do fornecedor que afeta a forma de amostrar esta população. Como uma decisão de alojamento produz milhares de deteções, contar linhas exagera o número de decisões independentes que foram tomadas. Se o objetivo for dimensionar um mercado de compradores e não um mercado de sites, a unidade relevante é o fornecedor, e recuperá-la implica colapsar a população pelo agrupamento de impressões digitais em vez de tratar cada domínio como uma conta separada.

A mesma estrutura torna os dados úteis no sentido inverso. Quando um fornecedor migra o seu parque, a mudança aparece em milhares de domínios em simultâneo, o que é muito visível numa comparação entre duas reconstruções e praticamente invisível em qualquer instantâneo isolado. Os movimentos ao nível do parque estão entre os acontecimentos comercialmente mais significativos no alojamento, e só são observáveis para quem guarda a cópia do dia anterior.

O projeto é mantido pela OpenResty Inc. com licença BSD e está disponível desde 2009. A sua camada de scripting é escrita em Lua, uma escolha suficientemente invulgar nesta parte da pilha para dizer, por si só, algo sobre o tipo de problema que o projeto foi construído para resolver.