Blog ·
Versteckt robots.txt Ihren Kunden vor der KI-Suche?
Bevor Sie Inhalte für ChatGPT oder Perplexity umschreiben, prüfen Sie, ob deren Bots die Website überhaupt lesen dürfen. Das dauert zwei Minuten.
Ein Kunde fragt, warum ChatGPT seinen Wettbewerber empfiehlt und ihn nie. Die übliche Antwort lautet Inhalt: mehr Seiten, klarere Antworten, bessere Quellen. Vorher lohnt sich eine günstigere Frage — kann der Such-Bot des Assistenten die Website überhaupt lesen?
Oft kann er es nicht, und niemand hat das bewusst entschieden. Eine vor Jahren aus einer Vorlage kopierte Zeile, ein Sicherheits-Plugin oder eine CDN-Einstellung kann genau die Bots aussperren, auf die die KI-Suche angewiesen ist.
Zwei Arten von KI-Bots
KI-Unternehmen betreiben getrennte Crawler für getrennte Aufgaben. Die einen sammeln Text, um Modelle zu trainieren. Die anderen rufen Seiten ab, damit der Assistent sie finden und zitieren kann, wenn jemand eine Frage stellt. Wer die ersten sperrt, hält die Website aus den Trainingsdaten heraus. Wer die zweiten sperrt, hält sie aus den Antworten heraus.
| Unternehmen | Suche und Antworten | Modelltraining |
|---|---|---|
| OpenAI | OAI-SearchBot |
GPTBot |
| Anthropic | Claude-SearchBot |
ClaudeBot |
| Perplexity | PerplexityBot |
— |
Googlebot |
Google-Extended |
Google-Extended ist kein eigener Crawler, sondern ein Name in robots.txt, der Google sagt, ob von Googlebot abgerufene Seiten für Gemini verwendet werden dürfen; eine Sperre entfernt die Website nicht aus der Google-Suche. Jedes Unternehmen hat außerdem einen Agenten für Seiten, nach denen ein Nutzer direkt fragt, etwa indem er einen Link einfügt (ChatGPT-User, Claude-User, Perplexity-User) — diese folgen eigenen Regeln.
robots.txt in zwei Minuten lesen
Öffnen Sie /robots.txt auf der Domain des Kunden und achten Sie auf drei Dinge:
- Eine Pauschalsperre.
User-agent: *gefolgt vonDisallow: /schließt die Website für jeden Bot ohne eigene Gruppe, KI-Such-Bots eingeschlossen. Das kommt oft bei Websites vor, die als Testkopie begonnen haben. - Namentlich genannte Such-Bots. Eine Gruppe für
OAI-SearchBot,Claude-SearchBotoderPerplexityBotmitDisallow: /ist die Entscheidung, in KI-Antworten nicht aufzutauchen. Hat der Kunde sie nicht getroffen, finden Sie heraus, wer. - Listen aus „KI blockieren“-Anleitungen. Viele davon stecken Such-Bots und Trainings-Bots in dieselbe Gruppe. Gemeint war Schutz der Inhalte, heraus kam Unsichtbarkeit.
Ein Bot folgt der Gruppe, die ihn beim Namen nennt, und ignoriert User-agent: *. Eine Sperre in einer benannten Gruppe gewinnt also, auch wenn die allgemeine Gruppe alles erlaubt.
Soll der Kunde nicht ins Training, aber in die Antworten, schreiben Sie das ausdrücklich so:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
robots.txt ist nicht die einzige Tür
Eine offene robots.txt sagt nichts über die Firewall. CDNs und Sicherheits-Plugins können KI-Crawler von sich aus sperren — Cloudflare etwa hat genau dafür eine Einstellung —, und der Bot bekommt dann eine Fehlerseite, egal was in robots.txt steht. Prüfen Sie auch die Bot-Einstellungen im CDN und die Sperrliste des Sicherheits-Plugins.
Ein kurzer Test im Terminal zeigt, wie der Server auf einen bestimmten Bot-Namen antwortet:
curl -sI -A "OAI-SearchBot" https://example.com/
Ein 200 ist ein gutes Zeichen. Ein 403 oder eine Challenge-Seite heißt, dass etwas diesen Namen sperrt. Firewalls, die Bots anhand ihrer IP-Adresse prüfen, behandeln diese Anfrage womöglich anders als den echten Bot — ein sauberes Ergebnis ist also ein Hinweis, kein Beweis.
Wo Vekord ins Spiel kommt
Das Modul KI-Sichtbarkeit in Vekord stellt einem Sprachmodell und Perplexity einen festen Satz von Fragen zur Branche des Kunden, zeigt seinen Anteil gegenüber Wettbewerbern und listet die in robots.txt gesperrten KI-Bots auf. Ein gesperrter OAI-SearchBot steht direkt neben der Zahl, die er erklärt.