Vai al contenuto
Vekord
IT
Controlli il Suo sito

Blog ·

Il robots.txt nasconde il Suo cliente alla ricerca con l’IA?

Prima di riscrivere i contenuti per ChatGPT o Perplexity, verifichi che i loro bot possano leggere il sito. Bastano due minuti.

Un cliente chiede perché ChatGPT consiglia il suo concorrente e mai lui. La risposta di solito è il contenuto: più pagine, risposte più chiare, fonti migliori. Prima però conviene porsi una domanda più economica: il bot di ricerca dell’assistente riesce a leggere il sito?

Spesso no, e nessuno l’ha deciso di proposito. Una riga copiata anni fa da un modello, un plugin di sicurezza o un’impostazione della CDN possono chiudere la porta proprio ai bot da cui dipende la ricerca con l’IA.

Due tipi di bot IA

Le aziende di IA usano crawler diversi per compiti diversi. Alcuni raccolgono testo per addestrare i modelli. Altri scaricano pagine perché l’assistente possa trovarle e citarle quando qualcuno fa una domanda. Bloccare i primi tiene il sito fuori dai dati di addestramento. Bloccare i secondi lo tiene fuori dalle risposte.

Azienda Ricerca e risposte Addestramento dei modelli
OpenAI OAI-SearchBot GPTBot
Anthropic Claude-SearchBot ClaudeBot
Perplexity PerplexityBot —
Google Googlebot Google-Extended

Google-Extended non è un crawler a sé, ma un nome nel robots.txt che dice a Google se le pagine scaricate da Googlebot possono essere usate per Gemini; bloccarlo non toglie il sito dalla Ricerca Google. Ogni azienda ha anche un agente per le pagine che un utente chiede direttamente, per esempio incollando un link (ChatGPT-User, Claude-User, Perplexity-User), e questi seguono regole proprie.

Leggere il robots.txt in due minuti

Apra /robots.txt sul dominio del cliente e cerchi tre cose:

  1. Un blocco totale. User-agent: * seguito da Disallow: / chiude il sito a ogni bot che non ha un gruppo proprio, compresi i bot di ricerca IA. Capita spesso sui siti nati come copia di prova.
  2. Bot di ricerca indicati per nome. Un gruppo per OAI-SearchBot, Claude-SearchBot o PerplexityBot con Disallow: / è la decisione di non comparire nelle risposte dell’IA. Se non l’ha presa il cliente, scopra chi l’ha fatto.
  3. Liste copiate dalle guide «blocca l’IA». Molte mettono bot di ricerca e bot di addestramento nello stesso gruppo. L’intenzione era proteggere i contenuti; il risultato è l’invisibilità.

Un bot segue il gruppo che lo nomina e ignora User-agent: *, quindi un blocco in un gruppo con nome prevale anche quando il gruppo generale permette tutto.

Se il cliente vuole restare fuori dall’addestramento ma comparire nelle risposte, lo scriva in modo esplicito:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Il robots.txt non è l’unica porta

Un robots.txt aperto non dice nulla del firewall. Le CDN e i plugin di sicurezza possono bloccare da soli i crawler dell’IA — Cloudflare, per esempio, ha un’impostazione proprio per questo — e allora il bot riceve una pagina di errore qualunque cosa dica il robots.txt. Controlli anche le impostazioni dei bot nella CDN e la lista di blocco del plugin di sicurezza.

Un rapido test dal terminale mostra come il server risponde a un certo nome di bot:

curl -sI -A "OAI-SearchBot" https://example.com/

Un 200 è un buon segno. Un 403 o una pagina di verifica significa che qualcosa blocca quel nome. I firewall che verificano i bot in base all’indirizzo IP possono trattare questa richiesta diversamente dal bot vero, quindi un risultato pulito è un indizio, non una prova.

Dove entra Vekord

Il modulo di visibilità nell’IA di Vekord pone a un modello linguistico e a Perplexity un insieme fisso di domande sul settore del cliente, mostra la sua quota rispetto ai concorrenti ed elenca i bot IA bloccati nel robots.txt. Un OAI-SearchBot bloccato compare proprio accanto al numero che spiega.

Tutti gli articoli