Per vent’anni la domanda è stata una sola: come mi faccio trovare da Google. Oggi sulle pagine del tuo sito passano decine di programmi automatici diversi, e non hanno tutti lo stesso scopo. Alcuni leggono i tuoi contenuti per indicizzarli e ti rimandano indietro visitatori. Altri li copiano per addestrare un modello linguistico e non ti restituiscono niente. Fino a poco tempo fa li trattavi allo stesso modo, perché non avevi modo di distinguerli.

Dal 15 settembre 2026 la distinzione diventa concreta e, per una parte dei siti, automatica. Cloudflare, l’infrastruttura che sta davanti a una fetta enorme del web mondiale, ha smesso di considerare i bot AI come un blocco unico e li ha separati in tre categorie governabili una per una. Se il tuo sito passa da Cloudflare hai una decisione da prendere entro quella data. Se non ci passa, il ragionamento resta valido lo stesso: decidere chi lascio entrare, e a quali condizioni, è diventato parte della strategia digitale di qualunque azienda.

Cos’è un crawler AI e perché non sono tutti uguali

Un crawler AI è un programma che visita in automatico le pagine di un sito e ne raccoglie il contenuto per conto di un sistema di intelligenza artificiale. La differenza che conta non sta nel modo in cui legge, ma nel motivo per cui legge: indicizzare per poterti citare, agire in tempo reale per un utente che sta chiedendo qualcosa, oppure addestrare un modello.

Tenere insieme queste tre finalità sotto l’unica etichetta “bot AI” ha prodotto per due anni scelte grossolane. Chi bloccava tutto si tagliava fuori dalle risposte generative, cioè esattamente il posto dove oggi si formano le preferenze dei clienti. Chi lasciava passare tutto regalava l’intero archivio dei propri contenuti a chi lo usava per costruire prodotti concorrenti. Nessuna delle due posizioni era una strategia: erano entrambe una rinuncia a scegliere.

La separazione per finalità cambia il quadro perché rende possibile una posizione intermedia. Puoi restare pienamente visibile dove la visibilità porta clienti e chiudere la porta dove il tuo lavoro viene solo assorbito. È lo stesso principio con cui gestisci l’accesso al tuo capannone: il corriere entra, il concorrente che vuole fotografare i macchinari no.

Cosa cambia davvero dal 15 settembre 2026

Dal 15 settembre 2026 i nuovi domini che entrano su Cloudflare ricevono impostazioni predefinite diverse: i bot classificati come Training e come Agent vengono bloccati sulle pagine che mostrano pubblicità, mentre i bot Search restano ammessi. I domini già collegati mantengono la configurazione attuale, ma chiunque può modificarla o rifiutare i nuovi valori predefiniti in qualsiasi momento.

Il punto tecnico più delicato riguarda i crawler che fanno più cose insieme. Da quella data, spiega il changelog ufficiale di Cloudflare, i crawler che combinano ricerca e addestramento vengono valutati su tutti i loro comportamenti e ricade su di loro la regola più restrittiva. Tradotto: un bot che indicizza e allena contemporaneamente finisce bloccato se hai chiuso l’addestramento. Prima di premere qualsiasi interruttore vale la pena capire chi passa davvero dal tuo sito.

Il pannello di controllo è disponibile per tutti i clienti, piano gratuito compreso. Per ciascuna delle tre categorie puoi scegliere fra tre opzioni: bloccare su tutte le pagine, bloccare solo sulle pagine con pubblicità, oppure non bloccare. Per la maggior parte dei siti aziendali italiani, che pubblicità non ne mostrano, il valore predefinito di settembre non produce alcun effetto pratico. Il punto non è il valore predefinito: è che finalmente puoi scegliere.

I numeri che spiegano perché la questione esiste

Il traffico automatico non è più un fenomeno marginale. Nel maggio 2026 i crawler AI rappresentavano il 20,3% del traffico da bot verificati, con i bot di ricerca AI a contribuire per un ulteriore 6,5%. Fra gennaio e maggio 2026, secondo i dati di Fastly, le richieste generate dall’AI sono cresciute circa 6,5 volte più in fretta del traffico umano.

La misura più utile per un imprenditore però è un’altra, e si chiama rapporto fra scansioni e visite rimandate indietro. Dice quante pagine un crawler legge per ogni visitatore che ti manda. I dati di Cloudflare Radar raccolti fra gennaio e marzo 2026 fotografano squilibri enormi: ClaudeBot di Anthropic scansiona quasi 24.000 pagine per ogni singolo rimando, GPTBot di OpenAI si attesta intorno a 1.276 a 1, mentre Googlebot resta a circa 5 a 1 e DuckDuckGo sfiora la parità.

Quei numeri non sono una condanna morale, sono una descrizione di modelli di business diversi. Un crawler che serve un motore di ricerca ha bisogno di rimandarti traffico, perché il traffico è il suo prodotto. Un crawler che raccoglie materiale di addestramento no. La ricerca di Cloudflare sul rapporto fra scansioni e referral mostra che la forbice si è allargata proprio mentre le risposte generative sostituivano i clic. È il motivo per cui misurare la visibilità solo in sessioni sul sito è diventato fuorviante, come ho spiegato analizzando come i browser AI cambiano traffico e analitiche del sito.

Search, Agent e Training: come decidere per ciascuna categoria

Le tre categorie corrispondono a tre rapporti economici diversi con la tua azienda. Search ti dà visibilità e citazioni, Agent ti porta persone reali che stanno cercando adesso, Training prende contenuto e non restituisce nulla di immediato. La regola pratica: apri dove ricevi qualcosa in cambio, valuta dove il ritorno è indiretto, chiudi solo dove il ritorno è zero.

Search: lasciali passare, quasi sempre

Sono i crawler che indicizzano il tuo sito per poterlo poi citare rispondendo alle domande degli utenti. Bloccarli significa sparire dalle risposte di Google, di ChatGPT quando cerca, di Perplexity. Per una PMI che vive di preventivi in arrivo dal sito è la scelta più autolesionista possibile. Qui la partita non è difendersi, è farsi trovare bene: il lavoro utile è quello descritto nella guida alla Generative Engine Optimization, cioè strutturare i contenuti perché siano recuperabili e citabili.

Agent: lasciali passare e cominciamo a misurarli

Sono i bot che agiscono in tempo reale per conto di una persona: l’assistente che apre la tua pagina prezzi perché un utente gliel’ha chiesto, il browser automatico che compila un modulo di contatto. Dietro ognuno c’è un potenziale cliente in fase attiva di valutazione. Bloccarli oggi vuol dire chiudere la porta a un canale che sta crescendo a ritmi a tre cifre. La cosa sensata è farli entrare e attrezzarsi per riconoscerli nelle statistiche.

Training: qui la scelta è tua e dipende dal contenuto

Sono i crawler che raccolgono materiale per addestrare i modelli. Non ti mandano visitatori, né oggi né domani. Se il tuo sito è una vetrina aziendale con dieci pagine istituzionali, bloccarli o meno cambia poco. Se invece hai investito anni in un archivio di guide tecniche, schede prodotto dettagliate, casi studio, allora stai regalando un patrimonio a chi lo userà per rispondere al posto tuo. In quel caso bloccare Training è una decisione difendibile.

Come capire se il tuo sito è coinvolto

Prima di decidere serve sapere due cose: se il tuo sito passa da Cloudflare e quali bot lo stanno visitando davvero. La prima si verifica in due minuti, la seconda richiede di guardare i registri del server o il pannello del servizio che gestisce il traffico. Senza questi due dati qualsiasi configurazione è fatta al buio.

Verifica se sei dietro Cloudflare

Molti imprenditori non lo sanno, perché la scelta l’ha fatta l’agenzia o il fornitore di hosting anni fa. Il controllo più rapido è chiedere al tuo fornitore quali sono i server di nomi del dominio: se compaiono nomi che finiscono in cloudflare.com, ci sei dentro. In alternativa, un qualsiasi strumento online che mostra le intestazioni HTTP di una pagina rivela la presenza del servizio. Se il sito è dietro Cloudflare, entra nella sezione sicurezza del pannello e guarda come sono impostate oggi le tre categorie.

Guarda chi ti sta visitando

I registri di accesso del server elencano ogni richiesta con il nome del programma che l’ha fatta. Cercare le stringhe GPTBot, ClaudeBot, PerplexityBot, Meta-ExternalAgent, Googlebot e Bytespider dice in pochi minuti chi frequenta il tuo sito e con quale intensità. Su WordPress esistono estensioni che producono lo stesso rapporto senza toccare i file. Il quadro cambia molto da settore a settore: un sito di ricette e un sito di carpenteria metallica ricevono attenzioni molto diverse.

Bloccare i crawler AI conviene davvero a una PMI?

Nella maggior parte dei casi la risposta è no per Search e Agent, e dipende per Training. Il ragionamento corretto non parte dalla difesa del contenuto ma dal modello di ricavo: se il sito serve a generare richieste di preventivo, ogni blocco che riduce la visibilità è un costo diretto. Se il sito è esso stesso il prodotto, il calcolo cambia.

Un’azienda manifatturiera del bellunese che vende componenti su misura ha tutto l’interesse a essere letta, capita e citata dal maggior numero possibile di sistemi. La sua barriera competitiva sta nello stabilimento, non nelle pagine del sito. Un editore, una scuola di formazione o un consulente che vende proprio la conoscenza scritta nel sito si trovano invece nella situazione opposta: lì il contenuto è il magazzino, e lasciarlo aperto ha un costo reale.

C’è poi una terza posizione, più interessante delle prime due. Alcuni operatori stanno sperimentando forme di compenso per l’accesso, dove il crawler paga per leggere invece di essere semplicemente bloccato. È presto perché diventi una voce di ricavo per una PMI, ma indica la direzione: da porta aperta o chiusa a rapporto negoziato. Chi oggi tiene traccia di chi lo scansiona arriverà a quel tavolo con dei numeri in mano.

Gli altri strumenti: robots.txt, llms.txt e i controlli di Google

Cloudflare non è l’unico punto di controllo e non tutti i siti ci passano. Gli altri tre strumenti a disposizione sono il file robots.txt, i controlli specifici messi a disposizione da Google per l’uso generativo dei contenuti, e il file llms.txt. Funzionano su piani diversi e conviene sapere quale fa cosa, perché nessuno dei tre sostituisce gli altri.

Il file robots.txt è una richiesta, non un cancello. I crawler seri la rispettano, quelli scorretti la ignorano e continuano a scaricare le tue pagine. Serve come dichiarazione di intenti ed è il primo posto dove indicare quali programmi non vuoi, ma non produce alcun blocco tecnico. Chi ha bisogno di un blocco vero deve agire a livello di infrastruttura, ed è esattamente ciò che offre il pannello di Cloudflare.

I controlli di Google permettono di separare l’indicizzazione classica dall’uso dei contenuti nei prodotti generativi. Il file llms.txt, invece, non blocca niente: è una mappa che indica ai sistemi AI quali contenuti considerare prioritari. Sul suo effettivo valore ci sono pareri discordanti, e li ho messi in fila nell’analisi su cos’è llms.txt e se serve davvero. La regola generale resta semplice: robots.txt dichiara, l’infrastruttura impone, llms.txt orienta.

Errori comuni

• Bloccare tutto per prudenza: è la reazione più diffusa e la più costosa. Chiudere anche la categoria Search significa uscire dalle risposte generative proprio mentre i clienti imparano a usarle per scegliere i fornitori. La prudenza qui produce invisibilità.
• Configurare senza aver guardato i registri: decidere quali bot bloccare senza sapere quali passano davvero dal proprio sito è come installare un allarme senza sapere dove sono le porte. Mezz’ora di lettura dei registri di accesso vale più di qualsiasi impostazione copiata da un articolo.
• Considerarla una scelta definitiva: le categorie, i nomi dei bot e i comportamenti cambiano ogni pochi mesi. Una configurazione decisa a settembre e mai più rivista sarà fuori fase entro la primavera. Va messa in calendario una verifica trimestrale, come si fa con i backup.

Il piano in tre passi per arrivare pronto a settembre

Non serve un progetto complesso. Servono tre azioni, nell’ordine: capire dove passa il traffico del tuo sito, guardare chi lo sta scansionando, decidere una configurazione coerente con il modo in cui la tua azienda guadagna. Un pomeriggio di lavoro, e la decisione resta valida per mesi.

Il primo passo è la ricognizione: verifica se il dominio è su Cloudflare e, in caso affermativo, apri il pannello e annota la configurazione attuale delle tre categorie. Se il sito non è su Cloudflare, individua chi altro può applicare regole sul traffico in ingresso: il fornitore di hosting, un eventuale firewall applicativo, o il file robots.txt come minimo comune denominatore.

Il secondo passo è la misura. Estrai un mese di registri di accesso e conta le richieste per ciascun bot. Se scopri che un solo crawler genera il triplo delle visite umane e non ti manda nessuno, hai un dato concreto su cui decidere invece di un’impressione. Nello stesso movimento vale la pena controllare quanto sei presente nelle risposte generative: il metodo è quello descritto nella guida al monitoraggio della visibilità del brand su ChatGPT e Gemini.

Il terzo passo è la decisione, e va scritta da qualche parte. Search aperto, Agent aperto, Training secondo il valore del tuo archivio: è la configurazione ragionevole per la stragrande maggioranza delle PMI italiane. Scrivi la scelta e la data in un documento condiviso con chi gestisce il sito, insieme al promemoria per la revisione fra tre mesi. Una decisione non scritta, in questo campo, viene disfatta al primo cambio di fornitore.

La cosa che conta capire è che questa non è una faccenda tecnica delegabile in blocco. È una scelta su cosa la tua azienda regala e cosa si fa pagare, tradotta in due o tre interruttori. Il 15 settembre è solo la data che costringe a farla, e chi la prende con qualche settimana di anticipo la prende meglio di chi la subisce.

Vuoi applicare il controllo dei crawler AI al tuo business?

Decidere quali bot AI lasciare entrare sul tuo sito significa scegliere dove essere visibile e dove proteggere il lavoro di anni. Implementarlo correttamente richiede metodo, e farlo senza un piano vuol dire sprecare budget e settimane di lavoro.

Sono specializzato in SEO, web design e digital marketing per PMI italiane. Posso analizzare il tuo sito e darti un piano d’azione concreto per i prossimi tre mesi.

Contattami per una consulenza strategica: definiamo insieme la direzione e la mettiamo in pratica passo dopo passo.

Se preferisci approfondire prima da solo, trovi altre guide pratiche sul mio canale YouTube.