Blog ·
Czy robots.txt ukrywa klienta przed wyszukiwarkami AI?
Zanim przepiszesz treści pod ChatGPT albo Perplexity, sprawdź, czy ich boty w ogóle mogą czytać stronę. To dwie minuty.
Klient pyta, dlaczego ChatGPT poleca konkurencję, a jego nigdy. Zwykła odpowiedź to treść: więcej podstron, jaśniejsze odpowiedzi, lepsze źródła. Najpierw warto jednak zadać tańsze pytanie — czy bot wyszukiwarki asystenta w ogóle może przeczytać stronę?
Często nie może i nikt tego świadomie nie postanowił. Linijka skopiowana lata temu z szablonu, wtyczka bezpieczeństwa albo ustawienie CDN potrafią zamknąć drzwi akurat przed tymi botami, od których zależy wyszukiwanie w AI.
Dwa rodzaje botów AI
Firmy od AI mają osobne roboty do osobnych zadań. Jedne zbierają tekst do trenowania modeli. Drugie pobierają strony, żeby asystent mógł je znaleźć i zacytować, gdy ktoś zada pytanie. Zablokowanie pierwszych trzyma stronę poza danymi treningowymi. Zablokowanie drugich trzyma ją poza odpowiedziami.
| Firma | Wyszukiwanie i odpowiedzi | Trenowanie modeli |
|---|---|---|
| OpenAI | OAI-SearchBot |
GPTBot |
| Anthropic | Claude-SearchBot |
ClaudeBot |
| Perplexity | PerplexityBot |
— |
Googlebot |
Google-Extended |
Google-Extended to nie osobny robot, tylko nazwa w robots.txt, która mówi Google'owi, czy strony pobrane przez Googlebota mogą posłużyć Gemini; jej zablokowanie nie usuwa strony z wyszukiwarki Google. Każda z firm ma też agenta do stron, o które użytkownik pyta wprost, na przykład wklejając link (ChatGPT-User, Claude-User, Perplexity-User) — te kierują się własnymi zasadami.
Jak przeczytać robots.txt w dwie minuty
Otwórz /robots.txt w domenie klienta i poszukaj trzech rzeczy:
- Blokady wszystkiego.
User-agent: *, a pod nimDisallow: /, zamyka stronę przed każdym botem, który nie ma własnej grupy — także przed botami wyszukiwarek AI. Zdarza się na stronach, które zaczynały jako kopia testowa. - Botów wyszukiwarek z nazwy. Grupa dla
OAI-SearchBot,Claude-SearchBotalboPerplexityBotzDisallow: /to decyzja, żeby nie pojawiać się w odpowiedziach AI. Jeśli nie podjął jej klient, dowiedz się, kto to zrobił. - List skopiowanych z poradników „zablokuj AI”. Wiele z nich wrzuca boty wyszukiwarek i boty treningowe do jednej grupy. Chodziło o ochronę treści, a wyszło zniknięcie.
Bot stosuje się do grupy, która wymienia go z nazwy, i pomija User-agent: *, więc blokada w grupie z nazwą wygrywa, nawet gdy ogólna grupa wszystko dopuszcza.
Jeśli klient nie chce trafiać do danych treningowych, ale chce być w odpowiedziach, zapisz to wprost:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
robots.txt to nie jedyne drzwi
Otwarty robots.txt nic nie mówi o zaporze. CDN i wtyczki bezpieczeństwa potrafią same blokować roboty AI — Cloudflare ma na przykład ustawienie dokładnie do tego — i wtedy bot dostaje stronę błędu bez względu na robots.txt. Sprawdź też ustawienia botów w CDN i listę blokad wtyczki bezpieczeństwa.
Szybki test z terminala pokazuje, jak serwer odpowiada na daną nazwę bota:
curl -sI -A "OAI-SearchBot" https://example.com/
200 to dobry znak. 403 albo strona z wyzwaniem znaczy, że coś blokuje tę nazwę. Zapory, które sprawdzają boty po adresie IP, mogą potraktować takie zapytanie inaczej niż prawdziwego bota, więc czysty wynik to wskazówka, nie dowód.
Gdzie tu Vekord
Moduł widoczności w AI w Vekordzie zadaje modelowi językowemu i Perplexity stały zestaw pytań o branżę klienta, pokazuje jego udział wobec konkurentów i listę botów AI zablokowanych w robots.txt. Zablokowany OAI-SearchBot stoi tuż obok liczby, którą tłumaczy.