KI-Crawler in Logfiles erkennen: So sehen Sie, ob ChatGPT & Co. Ihre Seite besuchen
In den Server-Logfiles sehen Sie, welche KI-Crawler Ihre Website abrufen, welche Seiten sie besuchen und ob sie Fehler bekommen. Erkennbar sind sie am User-Agent, etwa GPTBot oder OAI-SearchBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot. Weil sich User-Agents leicht fälschen lassen, sollten Sie die IP-Adressen mit den Listen der Anbieter abgleichen. Die Auswertung zeigt, ob Ihre wichtigen Seiten für KI-Systeme erreichbar sind.
- KI-Crawler sind am User-Agent erkennbar.
- OpenAI, Perplexity und andere veröffentlichen IP-Bereiche zur Prüfung.
- Wichtige Kennzahlen: abgerufene Seiten, Statuscodes, Häufigkeit.
- Nutzer-Abrufe wie ChatGPT-User zeigen, dass Ihre Seite in Antworten gelesen wird.
Die wichtigsten KI-Crawler
| User-Agent | Anbieter | Aufgabe |
|---|---|---|
| GPTBot | OpenAI | Inhalte für das Training von Modellen |
| OAI-SearchBot | OpenAI | Websites für die Suche in ChatGPT |
| ChatGPT-User | OpenAI | Abruf, wenn Nutzer ChatGPT eine Frage stellen |
| ClaudeBot | Anthropic | Inhalte für das Training |
| Claude-SearchBot | Anthropic | Verbesserung der Suchergebnisse |
| Claude-User | Anthropic | Abruf bei Nutzerfragen |
| PerplexityBot | Perplexity | Websites in der Perplexity-Suche anzeigen und verlinken |
| Perplexity-User | Perplexity | Abruf bei Nutzerfragen |
| Googlebot / Google-Extended | Crawling; Google-Extended ist nur ein Steuerungs-Token ohne eigenen User-Agent |
So werten Sie Logfiles aus
- Zugriffsprotokolle beim Hoster herunterladen, meist im Kundenbereich unter Statistiken oder Logs.
- Nach den User-Agents filtern, zum Beispiel mit einem Tabellenprogramm oder einem Log-Analyse-Tool.
- Abgerufene URLs und Statuscodes auswerten: Kommen die Crawler auf Ihre wichtigen Seiten und erhalten sie den Status 200?
- Häufigkeit über die Zeit betrachten: Steigen die Abrufe nach neuen Inhalten oder Erwähnungen?
- Auffälligkeiten prüfen: viele 404-Fehler, Blockaden (403) oder Weiterleitungsketten.
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20Der Befehl zählt, welche URLs die KI-Crawler am häufigsten abgerufen haben. Je nach Log-Format kann die Spalte mit der URL abweichen.
Echte Crawler von Fälschungen unterscheiden
Jeder kann sich als GPTBot ausgeben. Vergleichen Sie deshalb die IP-Adressen mit den offiziellen Listen der Anbieter. Perplexity veröffentlicht zum Beispiel eigene JSON-Dateien mit den IP-Bereichen von PerplexityBot und Perplexity-User und empfiehlt, stets die aktuelle Liste zu verwenden. Auch OpenAI stellt entsprechende Listen bereit.
Was die Daten Ihnen sagen
| Befund | Bedeutung |
|---|---|
| Viele Abrufe von ChatGPT-User oder Perplexity-User | Ihre Seiten werden in Antworten auf Nutzerfragen gelesen |
| Keine Abrufe von Such-Crawlern | mögliche Sperre in robots.txt, Firewall oder Cloudflare |
| Viele 403-Fehler | Bot-Schutz blockiert Crawler, siehe Cloudflare und KI-Crawler |
| Viele 404-Fehler | veraltete Links oder falsche URLs; Weiterleitungen einrichten |
| Crawler rufen nur die Startseite ab | interne Verlinkung und Sitemap prüfen |
Tools wie Ahrefs werten Crawler-Besuche inzwischen ebenfalls aus, siehe KI-Sichtbarkeit Tools im Vergleich. Besuche echter Nutzer aus KI-Assistenten messen Sie dagegen in der Webanalyse, siehe KI-Traffic in GA4 messen.
Wie sichtbar ist Ihre Marke? Der kostenlose Check zeigt, ob KI-Systeme Sie nennen.
Steckbriefe der Crawler: GPTBot, ClaudeBot und PerplexityBot.
Häufige Fragen
Muss ich Logfiles aus Datenschutzgründen besonders behandeln?
Logfiles enthalten IP-Adressen und sind daher personenbezogene Daten. Werten Sie sie zweckgebunden aus und beachten Sie die in Ihrer Datenschutzerklärung genannten Speicherfristen.
Warum sehe ich keine KI-Crawler in meinen Logfiles?
Entweder wurden Ihre Seiten noch nicht entdeckt oder die Crawler werden blockiert. Prüfen Sie robots.txt, Firewall, Cloudflare und Sicherheits-Plugins.
Beachtet Perplexity-User die robots.txt?
Laut Perplexity ignoriert Perplexity-User die robots.txt in der Regel, weil der Abruf von einer Person angestoßen wird. PerplexityBot beachtet sie.
Mehr zu SEO
Barrierefreiheit und KI-Sichtbarkeit: Warum barrierefreie Websites auch KI-Agenten helfen
Barrierefreiheit und KI-Sichtbarkeit: Warum semantisches HTML, Alt-Texte und ARIA-Labels nicht nur Menschen mit Behinderung helfen, sondern auch KI-Agenten wie ChatGPT Atlas. Mit Überblick zum Barrierefreiheitsstärkungsgesetz.
3 Min. · 02.10.2026Interne Verlinkung für KI-Sichtbarkeit: So finden Crawler Ihre wichtigsten Seiten
Interne Verlinkung für KI-Sichtbarkeit: Wie crawlbare Links, beschreibende Ankertexte und eine klare Seitenstruktur Suchmaschinen und KI-Crawlern helfen, Ihre wichtigsten Inhalte zu finden und einzuordnen.
3 Min. · 30.09.2026Über-uns-Seite und Organization-Markup: So wird Ihr Unternehmen für KI eindeutig
Über-uns-Seite und Organization-Markup für KI-Sichtbarkeit: Welche Angaben auf die Seite gehören, wie Sie Organization-Markup nach Googles Vorgaben umsetzen und warum einheitliche Unternehmensdaten wichtig sind.
3 Min. · 02.10.2026