Scaricare i siti web che utilizzano Datadome

Informazioni su Datadome

C’è un innegabile imbarazzo nel fatto che un crawler esteso a tutto il web pubblichi una pagina su un fornitore di rilevamento dei bot, ed è giusto dichiararlo subito, perché condiziona i numeri che seguono.

La piattaforma Datadome è un servizio di protezione dai bot e di prevenzione delle frodi fondato nel 2015 da DataDome e venduto come prodotto con licenza Proprietary. Il servizio si colloca a livello di distribuzione dei contenuti o di server, assegna un punteggio a ogni richiesta nel momento in cui arriva e decide se chi la invia è una persona, un crawler innocuo o qualcosa che sta estraendo l’inventario, provando credenziali rubate o tempestando di richieste un’API. La classificazione è affidata all’apprendimento automatico, e l’obiettivo del progetto è mantenere la decisione invisibile ai visitatori legittimi invece di far passare tutti attraverso una pagina di verifica. Retailer, piattaforme di annunci e aziende dei media lo acquistano perché il loro contenuto è il loro prodotto, e copiarlo è il modello di business di qualcun altro.

A ottobre 2026 rileviamo il servizio su 51.026 siti, 47.823 dei quali su domini registrati negli Stati Uniti, e la distribuzione delle estensioni pende verso .com. La presenza del servizio dice molto sul sito che lo utilizza. La gestione dei bot non si acquista per precauzione, in astratto. Un’azienda la paga dopo che qualcuno ha raccolto i suoi prezzi con lo scraping, riempito carrelli, condotto attacchi di credential stuffing o svuotato un feed di inventario, quindi la tecnologia contraddistingue i siti che hanno avversari automatizzati e il budget per rispondere.

L’elenco che ne risulta si legge in modo diverso a seconda di chi lo apre. I fornitori di sicurezza vi vedono un segmento qualificato di aziende che spendono già in questo ambito e che sono già convinte che il problema sia reale. I team che lavorano sui dati vedono i domini in cui la raccolta automatizzata fallirà o richiederà un accordo commerciale invece di un crawler. Gli analisti della concorrenza vedono un indicatore di quali retailer considerano i propri prezzi e il proprio catalogo degni di essere difesi, il che è già di per sé un’indicazione sui margini e su quanta parte del mercato si muove in base al prezzo.

Qui l’avvertenza è insolitamente importante. Un prodotto progettato per separare il traffico automatizzato da quello umano può influire su ciò che osserva un sistema di raccolta automatizzato, quindi i siti che lo usano sono proprio quelli che un dataset basato su una scansione tende a sottorappresentare, compreso questo. Il rilevamento si basa sugli header, sui cookie e sul comportamento delle verifiche che il servizio espone a una normale richiesta, e un’installazione discreta può non lasciare alcuna traccia visibile. Il conteggio va considerato una stima per difetto con una direzione d’errore nota, e l’assenza del servizio su un dominio va considerata non dimostrata, piuttosto che esclusa.