Descargar sitios web que utilizan Varnish

Acerca de Varnish

Una caché está diseñada para pasar desapercibida. Todo lo que un proxy inverso hace bien lo vuelve más difícil de ver desde fuera, porque una caché que funciona responde en lugar de la máquina que tiene detrás y no le da al visitante ningún motivo para preguntarse qué ha pasado. Se trata de una propiedad incómoda para un conjunto de datos de detección, y es lo primero que hay que decir sobre esta tecnología, no lo último.

Varnish se sitúa delante de un servidor de origen y sirve copias almacenadas de las respuestas desde memoria. Publicado en 2006 con licencia BSD y con soporte comercial de Varnish Software, se configura en su propio lenguaje de reglas y no a través de una página de ajustes, y ese es el detalle que más importa a la hora de interpretarlo. Nadie acaba usando este software por accidente. Alguien lo eligió, escribió reglas para él y las probó, lo que significa que una detección implica una decisión de ingeniería, un origen que merece la pena proteger y tráfico suficiente para justificar el trabajo.

Esa inferencia es lo que separa a este producto del resto de entradas de la categoría Caching. Una red de distribución alojada se activa con un cambio en un registro de servidor de nombres, y puede hacerlo alguien que nunca ha visto una cabecera de caché. Un acelerador autogestionado implica un equipo que opera su propia infraestructura y que trata el rendimiento como algo que se diseña y no como algo que se compra. Para un proveedor que vende observabilidad, filtrado de seguridad, distribución gestionada o alojamiento de origen, esa población encaja mucho mejor que un listado general de sitios con mucho tráfico.

En octubre de 2026 detectamos el software en 842.023 sitios, de los cuales 428.927 se resuelven en Estados Unidos, con .com como sufijo más habitual. Distinguimos 19 cadenas de versión diferentes, y 7.0 es la lectura que registramos con más frecuencia. Que existan siquiera lecturas de versión se debe únicamente a que el proxy se anuncia en la respuesta salvo que se le indique lo contrario, y ese es precisamente el anuncio que las guías de fortificación indican a los operadores que eliminen.

La subestimación no es aquí un accidente de medición, sino un efecto de selección, y va en sentido contrario a la inferencia anterior. Las instalaciones que podemos ver son de forma desproporcionada las que se han dejado en configuración por defecto, lo que apunta a plataformas de alojamiento que incluyen la caché de serie y a equipos pequeños que nunca llegaron a la lista de fortificación. Los despliegues más sofisticados, gestionados justo por los equipos que la tecnología implica, son los que con más probabilidad guardan silencio. Lea el recuento como un subconjunto visible y no como un total, y lea la distribución de versiones como una descripción únicamente de ese subconjunto.

Incluso como subconjunto, la población responde a preguntas que ninguna consulta aislada puede resolver. ¿Cuántos sitios de un mercado dado usan una caché autogestionada en lugar de una red de distribución alojada? ¿Qué gestores de contenidos y qué plataformas de comercio aparecen detrás, y cambia esa mezcla según el país o el sufijo? ¿Qué lecturas de versión persisten en la larga cola, y qué más se ejecuta en esos mismos hosts? Cada una de ellas es un filtro sobre una población entera, y cada una es el tipo de pregunta que precede a una decisión de entrada en un mercado, a un artículo de investigación o a una campaña de captación.

Una comprobación dominio a dominio le dice si un sitio concreto está hoy detrás de esta caché, lo que resulta útil cuando está a punto de hacer una llamada e inútil cuando está decidiendo si merece la pena hacer alguna. La lista descargable lleva el dominio, el país resuelto, el sufijo, la versión cuando hemos podido leer alguna y el resto de la pila detectada para ese mismo sitio, y ese es el formato que necesita la segunda pregunta.