Перейти к содержимому
Vekord
RU
Проверить свой сайт

Блог ·

Скрывает ли robots.txt клиента от ИИ-поиска?

Прежде чем переписывать тексты под ChatGPT или Perplexity, проверьте, могут ли их боты вообще читать сайт. Это займёт две минуты.

Клиент спрашивает, почему ChatGPT советует конкурента, а его никогда. Обычный ответ — контент: больше страниц, понятнее ответы, лучше источники. Но сначала стоит задать вопрос подешевле: может ли поисковый бот ассистента вообще прочитать сайт?

Часто не может, и никто не решал этого намеренно. Строка, скопированная из шаблона много лет назад, плагин безопасности или настройка CDN способны закрыть доступ как раз тем ботам, от которых зависит ИИ-поиск.

Два вида ИИ-ботов

У компаний, делающих ИИ, разные краулеры для разных задач. Одни собирают текст для обучения моделей. Другие загружают страницы, чтобы ассистент мог найти и процитировать их, когда кто-то задаёт вопрос. Блокировка первых не пускает сайт в обучающие данные. Блокировка вторых не пускает его в ответы.

Компания Поиск и ответы Обучение моделей
OpenAI OAI-SearchBot GPTBot
Anthropic Claude-SearchBot ClaudeBot
Perplexity PerplexityBot —
Google Googlebot Google-Extended

Google-Extended — не отдельный краулер, а имя в robots.txt, которое сообщает Google, можно ли использовать страницы, загруженные Googlebot, для Gemini; его блокировка не убирает сайт из поиска Google. У каждой компании есть и агент для страниц, о которых пользователь спрашивает напрямую, например вставив ссылку (ChatGPT-User, Claude-User, Perplexity-User), — у них свои правила.

Как прочитать robots.txt за две минуты

Откройте /robots.txt на домене клиента и найдите три вещи:

  1. Полный запрет. User-agent: *, а под ним Disallow: / закрывает сайт для любого бота без собственной группы, включая ботов ИИ-поиска. Так часто бывает на сайтах, которые начинались как тестовая копия.
  2. Поисковые боты по имени. Группа для OAI-SearchBot, Claude-SearchBot или PerplexityBot с Disallow: / — это решение не появляться в ответах ИИ. Если его принимал не клиент, выясните, кто это сделал.
  3. Списки из руководств «как заблокировать ИИ». Многие из них кладут поисковых ботов и ботов для обучения в одну группу. Хотели защитить контент, а получили невидимость.

Бот следует группе, в которой он назван по имени, и игнорирует User-agent: *, поэтому запрет в именной группе побеждает, даже если общая группа разрешает всё.

Если клиент не хочет попадать в обучение, но хочет быть в ответах, запишите это явно:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

robots.txt — не единственная дверь

Открытый robots.txt ничего не говорит о файрволе. CDN и плагины безопасности могут сами блокировать ИИ-краулеры — у Cloudflare, например, есть для этого отдельная настройка, — и тогда бот получает страницу ошибки, что бы ни было написано в robots.txt. Проверьте и настройки ботов в CDN, и список блокировок плагина безопасности.

Быстрый тест в терминале покажет, как сервер отвечает на конкретное имя бота:

curl -sI -A "OAI-SearchBot" https://example.com/

200 — хороший знак. 403 или страница проверки означают, что что-то блокирует это имя. Файрволы, которые проверяют ботов по IP-адресу, могут обработать такой запрос иначе, чем настоящего бота, поэтому чистый результат — подсказка, а не доказательство.

Причём здесь Vekord

Модуль видимости в ИИ в Vekord задаёт языковой модели и Perplexity постоянный набор вопросов об отрасли клиента, показывает его долю на фоне конкурентов и список ИИ-ботов, заблокированных в robots.txt. Заблокированный OAI-SearchBot стоит прямо рядом с цифрой, которую он объясняет.

Все статьи