Blog ·
¿Esconde robots.txt a su cliente de la búsqueda con IA?
Antes de reescribir contenidos para ChatGPT o Perplexity, compruebe si sus bots pueden leer el sitio. Son dos minutos.
Un cliente pregunta por qué ChatGPT recomienda a su competidor y nunca a él. La respuesta habitual es el contenido: más páginas, respuestas más claras, mejores fuentes. Antes conviene hacer una pregunta más barata: ¿puede el bot de búsqueda del asistente leer el sitio?
A menudo no puede, y nadie lo decidió a propósito. Una línea copiada de una plantilla hace años, un plugin de seguridad o un ajuste de la CDN pueden cerrar el paso justo a los bots de los que depende la búsqueda con IA.
Dos tipos de bots de IA
Las empresas de IA usan rastreadores distintos para tareas distintas. Unos recogen texto para entrenar modelos. Otros descargan páginas para que el asistente pueda encontrarlas y citarlas cuando alguien pregunta. Bloquear los primeros deja el sitio fuera de los datos de entrenamiento. Bloquear los segundos lo deja fuera de las respuestas.
| Empresa | Búsqueda y respuestas | Entrenamiento de modelos |
|---|---|---|
| OpenAI | OAI-SearchBot |
GPTBot |
| Anthropic | Claude-SearchBot |
ClaudeBot |
| Perplexity | PerplexityBot |
— |
Googlebot |
Google-Extended |
Google-Extended no es un rastreador aparte, sino un nombre en robots.txt que indica a Google si las páginas que descarga Googlebot pueden usarse para Gemini; bloquearlo no saca el sitio de la Búsqueda de Google. Cada empresa tiene además un agente para las páginas por las que un usuario pregunta directamente, por ejemplo al pegar un enlace (ChatGPT-User, Claude-User, Perplexity-User), y esos siguen sus propias reglas.
Cómo leer robots.txt en dos minutos
Abra /robots.txt en el dominio del cliente y busque tres cosas:
- Un bloqueo total.
User-agent: *seguido deDisallow: /cierra el sitio a todo bot que no tenga grupo propio, incluidos los de búsqueda con IA. Es frecuente en sitios que nacieron como copia de pruebas. - Bots de búsqueda con nombre. Un grupo para
OAI-SearchBot,Claude-SearchBotoPerplexityBotconDisallow: /es la decisión de no aparecer en las respuestas de IA. Si no la tomó el cliente, averigüe quién lo hizo. - Listas copiadas de guías para «bloquear la IA». Muchas meten los bots de búsqueda y los de entrenamiento en el mismo grupo. La intención era proteger el contenido; el resultado, la invisibilidad.
Un bot sigue el grupo que lo nombra e ignora User-agent: *, así que un bloqueo en un grupo con nombre gana aunque el grupo general lo permita todo.
Si el cliente quiere quedarse fuera del entrenamiento pero aparecer en las respuestas, escríbalo de forma explícita:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
robots.txt no es la única puerta
Un robots.txt abierto no dice nada del cortafuegos. Las CDN y los plugins de seguridad pueden bloquear por su cuenta los rastreadores de IA —Cloudflare, por ejemplo, tiene un ajuste justo para eso— y entonces el bot recibe una página de error diga lo que diga robots.txt. Revise también los ajustes de bots de la CDN y la lista de bloqueo del plugin de seguridad.
Una prueba rápida desde el terminal muestra cómo responde el servidor a un nombre de bot concreto:
curl -sI -A "OAI-SearchBot" https://example.com/
Un 200 es buena señal. Un 403 o una página de verificación significa que algo bloquea ese nombre. Los cortafuegos que verifican los bots por su dirección IP pueden tratar esta petición de forma distinta al bot real, así que un resultado limpio es una pista, no una prueba.
Dónde encaja Vekord
El módulo de visibilidad en IA de Vekord hace a un modelo de lenguaje y a Perplexity un conjunto fijo de preguntas sobre el sector del cliente, muestra su cuota frente a los competidores y enumera los bots de IA bloqueados en robots.txt. Un OAI-SearchBot bloqueado aparece justo al lado de la cifra que explica.