KI-Crawler in Logfiles erkennen: So sehen Sie, ob ChatGPT & Co. Ihre Seite besuchen
In den Server-Logfiles sehen Sie, welche KI-Crawler Ihre Website abrufen, welche Seiten sie besuchen und ob sie Fehler bekommen. Erkennbar sind sie am User-Agent, etwa GPTBot oder OAI-SearchBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot. Weil sich User-Agents leicht fälschen lassen, sollten Sie die IP-Adressen mit den Listen der Anbieter abgleichen. Die Auswertung zeigt, ob Ihre wichtigen Seiten für KI-Systeme erreichbar sind.
- KI-Crawler sind am User-Agent erkennbar.
- OpenAI, Perplexity und andere veröffentlichen IP-Bereiche zur Prüfung.
- Wichtige Kennzahlen: abgerufene Seiten, Statuscodes, Häufigkeit.
- Nutzer-Abrufe wie ChatGPT-User zeigen, dass Ihre Seite in Antworten gelesen wird.
Die wichtigsten KI-Crawler
| User-Agent | Anbieter | Aufgabe |
|---|---|---|
| GPTBot | OpenAI | Inhalte für das Training von Modellen |
| OAI-SearchBot | OpenAI | Websites für die Suche in ChatGPT |
| ChatGPT-User | OpenAI | Abruf, wenn Nutzer ChatGPT eine Frage stellen |
| ClaudeBot | Anthropic | Inhalte für das Training |
| Claude-SearchBot | Anthropic | Verbesserung der Suchergebnisse |
| Claude-User | Anthropic | Abruf bei Nutzerfragen |
| PerplexityBot | Perplexity | Websites in der Perplexity-Suche anzeigen und verlinken |
| Perplexity-User | Perplexity | Abruf bei Nutzerfragen |
| Googlebot / Google-Extended | Crawling; Google-Extended ist nur ein Steuerungs-Token ohne eigenen User-Agent |
So werten Sie Logfiles aus
- Zugriffsprotokolle beim Hoster herunterladen, meist im Kundenbereich unter Statistiken oder Logs.
- Nach den User-Agents filtern, zum Beispiel mit einem Tabellenprogramm oder einem Log-Analyse-Tool.
- Abgerufene URLs und Statuscodes auswerten: Kommen die Crawler auf Ihre wichtigen Seiten und erhalten sie den Status 200?
- Häufigkeit über die Zeit betrachten: Steigen die Abrufe nach neuen Inhalten oder Erwähnungen?
- Auffälligkeiten prüfen: viele 404-Fehler, Blockaden (403) oder Weiterleitungsketten.
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Der Befehl zählt, welche URLs die KI-Crawler am häufigsten abgerufen haben. Je nach Log-Format kann die Spalte mit der URL abweichen.
Echte Crawler von Fälschungen unterscheiden
Jeder kann sich als GPTBot ausgeben. Vergleichen Sie deshalb die IP-Adressen mit den offiziellen Listen der Anbieter. Perplexity veröffentlicht zum Beispiel eigene JSON-Dateien mit den IP-Bereichen von PerplexityBot und Perplexity-User und empfiehlt, stets die aktuelle Liste zu verwenden. Auch OpenAI stellt entsprechende Listen bereit.
Was die Daten Ihnen sagen
| Befund | Bedeutung |
|---|---|
| Viele Abrufe von ChatGPT-User oder Perplexity-User | Ihre Seiten werden in Antworten auf Nutzerfragen gelesen |
| Keine Abrufe von Such-Crawlern | mögliche Sperre in robots.txt, Firewall oder Cloudflare |
| Viele 403-Fehler | Bot-Schutz blockiert Crawler, siehe Cloudflare und KI-Crawler |
| Viele 404-Fehler | veraltete Links oder falsche URLs; Weiterleitungen einrichten |
| Crawler rufen nur die Startseite ab | interne Verlinkung und Sitemap prüfen |
Tools wie Ahrefs werten Crawler-Besuche inzwischen ebenfalls aus, siehe KI-Sichtbarkeit Tools im Vergleich. Besuche echter Nutzer aus KI-Assistenten messen Sie dagegen in der Webanalyse, siehe KI-Traffic in GA4 messen.
Wie sichtbar ist Ihre Marke? Der kostenlose Check zeigt, ob KI-Systeme Sie nennen.
Steckbriefe der Crawler: GPTBot, ClaudeBot und PerplexityBot.
Begriff erklärt: ChatGPT-User.
Begriffe erklärt: User-Agent, Crawler-Verifizierung und HTTP-Statuscodes.
Häufige Fragen
Muss ich Logfiles aus Datenschutzgründen besonders behandeln?
Logfiles enthalten IP-Adressen und sind daher personenbezogene Daten. Werten Sie sie zweckgebunden aus und beachten Sie die in Ihrer Datenschutzerklärung genannten Speicherfristen.
Warum sehe ich keine KI-Crawler in meinen Logfiles?
Entweder wurden Ihre Seiten noch nicht entdeckt oder die Crawler werden blockiert. Prüfen Sie robots.txt, Firewall, Cloudflare und Sicherheits-Plugins.
Beachtet Perplexity-User die robots.txt?
Laut Perplexity ignoriert Perplexity-User die robots.txt in der Regel, weil der Abruf von einer Person angestoßen wird. PerplexityBot beachtet sie.
Mehr zu SEO
Die Startseite für KI-Sichtbarkeit optimieren: Was KI-Systeme dort finden müssen
Startseite für KI-Sichtbarkeit optimieren: Warum die Startseite für Google und KI-Systeme die wichtigste Quelle über Ihr Unternehmen ist, welche Angaben hineingehören und wie WebSite- und Organization-Markup den richtigen Namen festlegen.
2 Min. · 21.10.2026Bewertungen auf der eigenen Website: Was Review-Markup bringt und was nicht
Bewertungen auf der eigenen Website und Review-Markup: Warum Unternehmen für selbst verwaltete Bewertungen laut Google keine Sterne in der Suche erhalten, wann Review-Markup trotzdem sinnvoll ist und wie Bewertungen KI-Antworten beeinflussen.
2 Min. · 19.10.2026Technisches Audit für KI-Sichtbarkeit: Die Checkliste in 25 Punkten
Technisches Audit für KI-Sichtbarkeit: Eine Checkliste mit 25 Punkten zu Crawler-Zugang, robots.txt, JavaScript, Statuscodes, Sitemap, strukturierten Daten und Messung, damit Google und KI-Systeme Ihre Website lesen und zitieren können.
3 Min. · 21.10.2026