KI-Crawler und robots.txt: GPTBot, ClaudeBot, PerplexityBot & Co. richtig steuern

Such-Crawler, Trainings-Crawler, Nutzer-Abrufe

KI-Anbieter unterscheiden drei Arten von Zugriffen. Für Ihre robots.txt ist diese Unterscheidung entscheidend:

• Such-Crawler erfassen Seiten, damit sie in der KI-Suche als Quelle erscheinen können.
• Trainings-Crawler sammeln Inhalte für das Training künftiger Modelle.
• Nutzer-Abrufe entstehen, wenn ein Nutzer die KI bittet, eine Seite zu öffnen oder eine Frage live zu recherchieren.

Die wichtigsten KI-Crawler im Überblick

Was die Anbieter selbst sagen

• OpenAI: Websites, die in der ChatGPT-Suche erscheinen wollen, sollen OAI-SearchBot nicht blockieren. GPTBot dient dem Training und kann ausgeschlossen werden.
• Anthropic: Wer Claude-SearchBot blockiert, wird nicht für die Suche erfasst, was die Sichtbarkeit verringert. Eine Sperre von ClaudeBot schließt künftige Inhalte vom Training aus.
• Perplexity: Wird PerplexityBot blockiert, erscheint die Website nicht in den Perplexity-Ergebnissen. Perplexity empfiehlt, ihn zuzulassen.

robots.txt-Vorlage für KI-Sichtbarkeit

Diese Vorlage lässt alle Such-Crawler zu. Die Trainings-Crawler sind auskommentiert, damit Sie bewusst entscheiden, ob Sie sie sperren möchten:

# KI-Suche: zulassen
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# KI-Training: Entscheidung treffen, bei Bedarf Kommentarzeichen entfernen
# User-agent: GPTBot
# User-agent: ClaudeBot
# User-agent: Google-Extended
# Disallow: /

Sitemap: https://ihre-domain.de/sitemap_index.xml

Prüfen Sie außerdem Firewall, CDN und Bot-Schutz. Manche Dienste blockieren KI-Crawler standardmäßig, unabhängig von der robots.txt.

Weitere technische Voraussetzungen

• Inhalte im HTML: Viele Crawler führen kein JavaScript aus. Texte, Preise und FAQ sollten serverseitig ausgeliefert werden.
• Indexierung: Für AI Overviews und den KI-Modus muss eine Seite laut Google indexiert und snippet-fähig sein.
• Strukturierte Daten: Schema für Organisation, Artikel, Autor, FAQ und Leistungen macht Inhalte eindeutig.
• Ladezeit: Schnelle Seiten werden zuverlässiger gecrawlt.
• llms.txt: Eine Übersicht für Sprachmodelle. Sie ist ein Vorschlag und kein Standard, aber schnell eingerichtet. Mehr im Lexikon unter llms.txt.

Für große Websites lohnt zusätzlich ein Blick auf das Crawl-Budget.

Weitere typische Stolperfallen erklärt der Artikel Häufige GEO-Fehler.

Welche drei Crawler Anthropic betreibt und welche Sie zulassen sollten, erklärt Claude SEO.

Einzelne Crawler im Lexikon: OAI-SearchBot und Google-Extended.

Neben der robots.txt entscheiden auch Technik und Infrastruktur, ob KI-Crawler Ihre Inhalte sehen: JavaScript und KI-Crawler, Cloudflare und KI-Crawler und KI-Crawler in Logfiles erkennen.

Grundlagen zur Datei: robots.txt im Lexikon.

Weitere Crawler im Lexikon: Applebot und Common Crawl.

Gesamte Checkliste: Technisches Audit für KI-Sichtbarkeit.

Häufige Fragen

Verliere ich Sichtbarkeit, wenn ich GPTBot sperre?

Nicht in der ChatGPT-Suche, denn dafür ist OAI-SearchBot zuständig. Ihre Inhalte fließen dann aber nicht in das Training künftiger Modelle ein, was langfristig das Trainingswissen über Ihre Marke beeinflussen kann.

Wie prüfe ich, ob KI-Crawler meine Seite besuchen?

In den Server-Logfiles nach den User-Agents filtern, zum Beispiel OAI-SearchBot oder PerplexityBot. Manche Hosting- und CDN-Anbieter zeigen Bot-Zugriffe auch in ihrer Oberfläche an.

Reicht eine offene robots.txt für KI-Sichtbarkeit?

Nein, sie ist nur die Voraussetzung. Ob KIs Ihre Marke nennen, hängt von Inhalten, Erwähnungen und Platzierungen ab. Einen Überblick gibt der Leitfaden KI-Sichtbarkeit.