Aller au contenu
Vekord
FR
Testez votre site

Blog ·

Le robots.txt cache-t-il votre client à la recherche IA ?

Avant de réécrire des contenus pour ChatGPT ou Perplexity, vérifiez que leurs robots ont le droit de lire le site. Cela prend deux minutes.

Un client demande pourquoi ChatGPT recommande son concurrent et jamais lui. La réponse habituelle, c’est le contenu : plus de pages, des réponses plus claires, de meilleures sources. Il existe pourtant une question moins coûteuse à poser d’abord : le robot de recherche de l’assistant peut-il seulement lire le site ?

Souvent, il ne le peut pas, et personne ne l’a décidé exprès. Une ligne copiée d’un modèle il y a des années, une extension de sécurité ou un réglage du CDN suffisent à fermer la porte précisément aux robots dont dépend la recherche IA.

Deux sortes de robots IA

Les entreprises d’IA utilisent des robots distincts pour des tâches distinctes. Les uns collectent du texte pour entraîner les modèles. Les autres récupèrent des pages pour que l’assistant puisse les trouver et les citer quand quelqu’un pose une question. Bloquer les premiers tient le site à l’écart des données d’entraînement. Bloquer les seconds le tient à l’écart des réponses.

Entreprise Recherche et réponses Entraînement des modèles
OpenAI OAI-SearchBot GPTBot
Anthropic Claude-SearchBot ClaudeBot
Perplexity PerplexityBot —
Google Googlebot Google-Extended

Google-Extended n’est pas un robot à part : c’est un nom dans robots.txt qui indique à Google si les pages récupérées par Googlebot peuvent servir à Gemini ; le bloquer ne retire pas le site de la recherche Google. Chaque entreprise a aussi un agent pour les pages qu’un utilisateur demande directement, par exemple en collant un lien (ChatGPT-User, Claude-User, Perplexity-User), et ceux-ci suivent leurs propres règles.

Lire un robots.txt en deux minutes

Ouvrez /robots.txt sur le domaine du client et cherchez trois choses :

  1. Un blocage général. User-agent: * suivi de Disallow: / ferme le site à tout robot qui n’a pas son propre groupe, robots de recherche IA compris. C’est fréquent sur les sites nés d’une copie de test.
  2. Des robots de recherche nommés. Un groupe pour OAI-SearchBot, Claude-SearchBot ou PerplexityBot avec Disallow: / est la décision de ne pas figurer dans les réponses IA. Si ce n’est pas le client qui l’a prise, cherchez qui l’a fait.
  3. Des listes copiées de guides « bloquer l’IA ». Beaucoup mettent robots de recherche et robots d’entraînement dans le même groupe. L’intention était de protéger le contenu ; le résultat, c’est l’invisibilité.

Un robot suit le groupe qui le nomme et ignore User-agent: * : un blocage dans un groupe nommé l’emporte donc même si le groupe général autorise tout.

Si le client veut rester hors de l’entraînement mais apparaître dans les réponses, écrivez-le explicitement :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Le robots.txt n’est pas la seule porte

Un robots.txt ouvert ne dit rien du pare-feu. Les CDN et les extensions de sécurité peuvent bloquer d’eux-mêmes les robots d’IA — Cloudflare, par exemple, propose un réglage précisément pour cela — et le robot reçoit alors une page d’erreur quoi que dise le robots.txt. Vérifiez aussi les réglages de robots du CDN et la liste de blocage de l’extension de sécurité.

Un test rapide dans le terminal montre comment le serveur répond à un nom de robot donné :

curl -sI -A "OAI-SearchBot" https://example.com/

Un 200 est bon signe. Un 403 ou une page de vérification signifie que quelque chose bloque ce nom. Les pare-feu qui vérifient les robots par leur adresse IP peuvent traiter cette requête autrement que le vrai robot : un résultat propre est un indice, pas une preuve.

Et Vekord dans tout ça

Le module de visibilité dans l’IA de Vekord pose à un modèle de langage et à Perplexity un ensemble fixe de questions sur le secteur du client, montre sa part face aux concurrents et liste les robots d’IA bloqués dans robots.txt. Un OAI-SearchBot bloqué apparaît juste à côté du chiffre qu’il explique.

Tous les articles