Crawler-Verifizierung
Auch: Reverse DNS, Bot-Verifizierung, IP-Verifizierung
Crawler-Verifizierung bezeichnet die Prüfung, ob ein Abruf tatsächlich vom angegebenen Crawler stammt, etwa per Reverse-DNS oder Abgleich mit veröffentlichten IP-Listen.
Weil sich jeder Bot als Googlebot oder GPTBot ausgeben kann, lohnt sich eine Prüfung. Google beschreibt zwei Wege: eine Reverse-DNS-Abfrage der IP-Adresse, deren Ergebnis auf googlebot.com, google.com oder googleusercontent.com enden muss, gefolgt von einer Vorwärts-Abfrage, die wieder die ursprüngliche IP ergibt. Oder ein Abgleich mit den IP-Listen, die Google als JSON-Dateien veröffentlicht. Auch OpenAI und Perplexity stellen IP-Listen bereit.
host 66.249.66.1
# … crawl-66-249-66-1.googlebot.com
host crawl-66-249-66-1.googlebot.com
# … has address 66.249.66.1Bedeutung für KI-Sichtbarkeit
Nur mit verifizierten Daten wissen Sie, ob KI-Crawler Ihre Seite tatsächlich abrufen oder ob Fälschungen die Statistik verzerren. Mehr im Ratgeber KI-Crawler in Logfiles erkennen, siehe auch User-Agent.
Häufige Fragen
Muss ich jeden Abruf prüfen?
Nein. Für Auswertungen reicht oft eine Stichprobe oder ein automatischer Abgleich mit den IP-Listen.
Bieten Sicherheits-Plugins das an?
Viele Firewalls und Bot-Schutz-Dienste prüfen bekannte Crawler automatisch.