Guida · 9 min di lettura
robots.txt e bot IA: chi far entrare e chi bloccare
Le regole robots.txt bot IA decidono quali assistenti possono leggere il vostro sito, e molte aziende bloccano quelli sbagliati senza accorgersene. In questa guida trovate i crawler che ogni azienda di IA documenta, la differenza tra quelli che addestrano i modelli e quelli che alimentano le risposte, e tre file pronti da copiare con il costo di ciascuno in termini di visibilità.
Confrontate i tre piani mensili e le attività GEO incluse in ciascuno.

Cosa fa il robots.txt e cosa no
Il robots.txt è un file di testo nella radice del vostro dominio. Dice ai crawler quali percorsi possono visitare. Ogni blocco inizia con una riga User-agent che nomina un crawler, seguita da righe Allow e Disallow.
Prima di toccare qualcosa, conviene conoscere tre limiti:
- È una richiesta, non una serratura. I crawler seri la rispettano; uno scraper che la ignora non viene fermato.
- Controlla l'accesso, non la memoria. Bloccare un crawler oggi non cancella ciò che ha già raccolto.
- Ogni crawler segue solo il gruppo che lo nomina in modo più specifico. Se create un gruppo per GPTBot, GPTBot ignora tutto quello che sta sotto User-agent: *. È l'errore più comune.
Le modifiche non sono nemmeno immediate. OpenAI parla di circa 24 ore per la sua ricerca, e Meta scrive che i suoi crawler possono tenere il file in cache fino a un giorno.
Crawler di addestramento, di ricerca e di utente
Ogni azienda di IA usa ormai più bot con compiti diversi. Confonderli è il modo più rapido per sparire da ChatGPT convinti di essersi solo tolti dall'addestramento.
- I crawler di addestramento raccolgono pagine che possono servire ad addestrare modelli futuri. Bloccarli vi esclude dall'addestramento; da solo, non vi toglie dalle risposte.
- I crawler di ricerca indicizzano le pagine perché l'assistente possa mostrarle e citarle. Bloccarli è ciò che vi fa sparire da quelle risposte.
- I bot di utente aprono una pagina perché qualcuno l'ha chiesto all'assistente. Diverse aziende avvertono che il robots.txt potrebbe non applicarsi, perché la visita parte da una persona.
- I token di controllo sono nomi da usare nel robots.txt che non scansionano nulla. Dicono a un'azienda cosa può fare con ciò che il suo crawler principale ha già raccolto.
robots.txt bot IA: l'elenco per azienda
Questi sono i nomi che ogni azienda pubblica nella propria documentazione. Scriveteli così come sono: maiuscole e minuscole non contano, l'ortografia sì.
- OpenAI. GPTBot scansiona contenuti che possono servire ad addestrare i suoi modelli. OAI-SearchBot fa comparire i siti nella ricerca di ChatGPT. ChatGPT-User gestisce le visite avviate dagli utenti, e OpenAI avverte che il robots.txt potrebbe non applicarsi. Secondo OpenAI ogni impostazione è indipendente: potete consentire OAI-SearchBot e bloccare GPTBot. Fonte: crawler di OpenAI.
- Anthropic. ClaudeBot raccoglie contenuti che potrebbero servire all'addestramento. Claude-SearchBot indicizza pagine per migliorare i risultati di ricerca. Claude-User apre pagine quando qualcuno fa una domanda a Claude; se lo bloccate, Claude non può leggere il vostro sito per rispondere. Fonte: centro assistenza di Anthropic.
- Perplexity. PerplexityBot mostra e collega siti nei risultati di Perplexity, che dichiara di non usarlo per addestrare modelli. Perplexity-User visita pagine durante le azioni degli utenti e, secondo Perplexity stessa, in genere ignora il robots.txt.
- Google. Google-Extended è un token di controllo senza crawler proprio. Stabilisce se i contenuti scansionati da Googlebot possono essere usati per addestrare Gemini e per fondare le risposte nell'app Gemini e in Vertex AI. Non incide sulla Ricerca Google. Le AI Overviews e la modalità IA usano l'indice normale, quindi lì conta Googlebot. Fonte: funzionalità IA di Google e il vostro sito.
- Apple. Applebot scansiona per Siri, Spotlight e Safari. Applebot-Extended non scansiona: bloccarlo esclude i vostri contenuti dall'addestramento dei modelli di Apple, e Apple precisa che quelle pagine possono restare nei suoi risultati di ricerca.
- Microsoft. Non esiste un token dedicato a Copilot. Le risposte con fonti di Copilot si basano su Bing, scansionato da Bingbot, e Bing Webmaster Tools ora mostra le citazioni in Copilot. Bloccando Bingbot perdete entrambe le cose.
- Common Crawl. CCBot costruisce un archivio aperto del web usato da molti dataset di IA. Common Crawl indica un gruppo Disallow per CCBot come modo per escludersi.
- Meta. Meta-ExternalAgent scansiona per usi come l'addestramento di modelli o l'indicizzazione di contenuti per i suoi prodotti. Meta-ExternalFetcher apre link su richiesta di un utente e, secondo Meta, può aggirare il robots.txt.
Nei log del server compaiono altri bot, e online circolano elenchi lunghi. Qui includiamo solo i nomi che abbiamo potuto verificare nella documentazione di ciascuna azienda.
Tre file robots.txt da copiare
Ogni voce degli elenchi è un gruppo. Nel file vero mettete ogni direttiva su una riga e lasciate una riga vuota tra i gruppi. Sostituite l'URL della sitemap con la vostra.
Opzione 1, consentire tutto. È quella che usiamo sul nostro sito:
- User-agent: * · Allow: /
- Sitemap: https://www.esempio.it/sitemap.xml
Per consentire un bot non serve un gruppo dedicato: il carattere jolly li copre tutti. Alcuni siti li elencano comunque, perché l'intenzione sia chiara a chi legge il file.
Opzione 2, consentire ricerca e risposte, bloccare l'addestramento:
- User-agent: GPTBot · Disallow: /
- User-agent: ClaudeBot · Disallow: /
- User-agent: Google-Extended · Disallow: /
- User-agent: Applebot-Extended · Disallow: /
- User-agent: CCBot · Disallow: /
- User-agent: Meta-ExternalAgent · Disallow: /
- User-agent: * · Allow: /
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot e Applebot ricadono nel jolly e restano consentiti.
Opzione 3, bloccare i crawler di IA e mantenere la ricerca tradizionale:
- User-agent: GPTBot · Disallow: /
- User-agent: OAI-SearchBot · Disallow: /
- User-agent: ChatGPT-User · Disallow: /
- User-agent: ClaudeBot · Disallow: /
- User-agent: Claude-SearchBot · Disallow: /
- User-agent: Claude-User · Disallow: /
- User-agent: PerplexityBot · Disallow: /
- User-agent: Perplexity-User · Disallow: /
- User-agent: Google-Extended · Disallow: /
- User-agent: Applebot-Extended · Disallow: /
- User-agent: CCBot · Disallow: /
- User-agent: Meta-ExternalAgent · Disallow: /
- User-agent: Meta-ExternalFetcher · Disallow: /
- User-agent: * · Allow: /
Quanto vi costa ogni opzione in visibilità
L'opzione 1 lascia tutte le porte aperte. Le vostre pagine possono essere indicizzate dalle ricerche IA, lette quando qualcuno chiede di voi e finire nei dati di addestramento. Per un'azienda che vuole essere raccomandata, di solito è il punto di partenza giusto.
L'opzione 2 è un compromesso ragionevole. Restate citabili in ChatGPT, Claude, Perplexity, Copilot e AI Overviews. In cambio, i modelli futuri imparano meno su di voi dal vostro sito, e bloccare Google-Extended limita anche la fondazione delle risposte nell'app Gemini, che è un luogo di risposte e non solo di addestramento.
L'opzione 3 vi toglie dalla maggior parte delle risposte con fonti, e i bot di utente possono continuare a passare per come li trattano le aziende. Non vi toglie dalle AI Overviews: dipendono da Googlebot, e bloccare Googlebot vi toglie anche da Google. Per limitare ciò che mostra Google, usate nosnippet o noindex su pagine specifiche.
Se vendete qualcosa che le persone cercano chiedendo a un assistente, bloccare i crawler di ricerca non conviene quasi mai. A essere citati saranno i concorrenti.
Come verificare cosa fa oggi il vostro robots.txt
- Aprite vostrodominio.it/robots.txt nel browser. Controllate che risponda con codice 200 e che non sia una pagina di errore HTML.
- Individuate ogni gruppo che nomina un bot di IA. Un gruppo con nome sostituisce il jolly per quel bot, quindi un Disallow dimenticato lì prevale.
- Cercate regole troppo ampie come Disallow: / sotto User-agent: *, spesso rimaste da un ambiente di test.
- Usate il rapporto robots.txt di Google Search Console per vedere la versione letta da Google ed eventuali errori.
- Controllate i log del server o del CDN cercando GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Bingbot, e guardate i codici di risposta. Molti 403 o 429 indicano che qualcosa di diverso dal robots.txt li sta fermando.
- Chiedete a ChatGPT, Claude o Perplexity di aprire un URL preciso del vostro sito e riassumerlo. Se non ci riescono, cercate la causa prima di dare la colpa ai contenuti.
Il blocco silenzioso: CDN e firewall
Una configurazione robots.txt bot IA corretta può comunque fallire se il CDN o il firewall respingono i crawler prima che arrivino al file. Il bot riceve un errore o una pagina di verifica, e il robots.txt non ve lo segnala.
Cloudflare, per esempio, offre criteri di accesso per crawler e agenti di IA nelle impostazioni di sicurezza. Scegliete un'azione separata per ricerca, agenti e addestramento: bloccare, bloccare solo sulle pagine con annunci, consentire o, per l'addestramento, un segnale di divieto. La documentazione dice che i nuovi domini partono da consentire, ma una scelta fatta mesi fa, una regola WAF o la protezione anti-bot dell'hosting possono ancora bloccare i crawler che vi interessano.
- Rivedete tutte le regole sui bot nel CDN, nel WAF e nel pannello dell'hosting, non solo il robots.txt.
- Verificate che la ricerca sia consentita se volete comparire nelle risposte dell'IA.
- Dopo ogni modifica, ricontrollate i log e confermate risposte 200 per i crawler che contano.
Dove si inserisce nel GEO
L'accesso è la prima condizione del GEO. Se un assistente non può leggere le vostre pagine, nulla di ciò che pubblicate può essere citato. Sistemare le regole robots.txt bot IA richiede poco tempo ed è la prima cosa che controlliamo nell'audit GEO gratuito. La manutenzione tecnica, che comprende queste regole, è inclusa in tutti i piani, da 390 € al mese.
L'accesso è necessario, ma non basta. Poi servono pagine che rispondano a domande reali, come spieghiamo in scrivere contenuti citati dall'IA, un file llms.txt facoltativo e un modo per capire se qualcosa cambia, descritto in misurare la visibilità nell'IA.
Domande frequenti
Conviene bloccare GPTBot?
Solo se non volete che i vostri contenuti servano ad addestrare i modelli di OpenAI. Bloccare GPTBot non vi toglie dalla ricerca di ChatGPT; quella dipende da OAI-SearchBot, che OpenAI tratta come impostazione separata.
Bloccare Google-Extended mi toglie dalle AI Overviews?
No. Google afferma che Google-Extended non incide sulla Ricerca, e le AI Overviews usano l'indice scansionato da Googlebot. Per limitare ciò che compare, usate controlli a livello di pagina come nosnippet. Approfondimento in come apparire nelle AI Overviews.
Serve un gruppo per ogni bot di IA per consentirlo?
No. Un gruppo User-agent: * con Allow: / copre tutti i crawler senza un gruppo proprio. I gruppi separati servono quando volete trattare un bot diversamente dagli altri.
Perché alcuni bot di IA ignorano il robots.txt?
OpenAI, Perplexity e Meta descrivono i loro bot di utente come se agissero per conto di una persona che ha chiesto una pagina precisa, e per questo dicono che il robots.txt potrebbe non applicarsi. Per fermarli bisogna intervenire sul server o sul CDN.
Ogni quanto rivedere le regole robots.txt bot IA?
Ogni volta che un'azienda annuncia un nuovo crawler e almeno qualche volta all'anno. Un nome che non avete elencato ricade nelle vostre regole del jolly.


