Descarregar sites que utilizam Varnish

Sobre Varnish

Uma cache é feita para não se dar por ela. Tudo o que um proxy inverso faz bem torna-o mais difícil de ver do exterior, porque uma cache bem sucedida responde no lugar da máquina que está por trás e não deixa ao visitante razão nenhuma para se interrogar sobre o que aconteceu. É uma propriedade incómoda para um conjunto de dados de deteção, e é a primeira coisa a dizer sobre esta tecnologia, não a última.

O Varnish fica à frente de um servidor de origem e serve cópias guardadas das respostas a partir da memória. Lançado em 2006 com licença BSD e com apoio comercial da Varnish Software, é configurado numa linguagem de regras própria e não através de uma página de definições, o que é o pormenor que mais conta para a interpretação. Ninguém fica com este software por acaso. Alguém o escolheu, escreveu regras para ele e testou-as, o que significa que uma deteção implica uma decisão de engenharia, uma origem que vale a pena proteger e tráfego suficiente para justificar o trabalho.

É essa inferência que separa este caso do resto das entradas da categoria Caching. Uma rede de distribuição alojada pode ser ligada com uma alteração a um registo de servidor de nomes, por alguém que nunca viu um cabeçalho de cache. Um acelerador gerido pela própria equipa implica uma equipa que gere a sua própria infraestrutura e trata o desempenho como algo a construir e não a comprar. Para um fornecedor que vende observabilidade, filtragem de segurança, distribuição gerida ou alojamento de origem, essa população encaixa muito melhor do que uma lista genérica de sites com muito tráfego.

Em outubro de 2026 detetamos o software em 842 023 sites, 428 927 deles a resolver para os Estados Unidos, com .com como sufixo mais comum. Distinguimos 19 cadeias de versão diferentes, e 7.0 é a leitura que registamos com mais frequência. As leituras de versão só existem de todo porque o proxy se anuncia na resposta a não ser que lhe digam para não o fazer, que é precisamente o anúncio que os guias de fortificação mandam os operadores remover.

A subcontagem aqui não é, por isso, um acaso de medição, é um efeito de seleção, e contraria a inferência acima. As instalações que conseguimos ver são desproporcionadamente as que ficaram na configuração predefinida, ou seja, plataformas de alojamento que entregam a cache como padrão e equipas mais pequenas que nunca chegaram à lista de fortificação. As instalações mais sofisticadas, geridas exatamente pelas equipas que a tecnologia pressupõe, são as que têm mais probabilidade de ficar em silêncio. Trate a contagem como um subconjunto visível e não como um total, e trate a distribuição de versões como uma descrição apenas desse subconjunto.

Mesmo como subconjunto, a população responde a perguntas a que nenhuma consulta isolada chega. Quantos sites de um dado mercado usam uma cache gerida pela própria equipa em vez de uma rede de distribuição alojada? Que sistemas de gestão de conteúdos e que plataformas de comércio aparecem por trás dela, e essa mistura varia por país ou por sufixo? Que leituras de versão persistem na cauda longa, e que mais corre nesses mesmos servidores? Cada uma delas é um filtro sobre uma população inteira, e cada uma é o tipo de pergunta que precede uma decisão de entrada num mercado, um artigo de investigação ou uma campanha de contacto.

Uma verificação domínio a domínio diz se um site concreto está hoje por trás desta cache, o que é útil quando se está prestes a fazer uma chamada e inútil quando se está a decidir se vale a pena fazer alguma. A lista para descarregar traz o domínio, o país resolvido, o sufixo, a versão quando a conseguimos ler, e o resto da pilha detetada para o mesmo site, que é o formato de que a segunda pergunta precisa.