Googlebot
Auch: Google-Crawler, Googlebot Smartphone
Googlebot ist der Crawler von Google, der Webseiten für die Google-Suche abruft; auch AI Overviews und der KI-Modus greifen auf diesen Index zurück.
Googlebot ist der Crawler, mit dem Google Webseiten für die Suche abruft. Es gibt ihn als Smartphone- und Desktop-Version; weil Google überwiegend die mobile Version indexiert, kommen die meisten Abrufe vom Smartphone-Crawler. Beide folgen denselben robots.txt-Regeln. Laut Google wird der User-Agent häufig gefälscht, echte Abrufe lassen sich per Reverse-DNS oder über Googles IP-Listen prüfen.
Bedeutung für KI-Sichtbarkeit
Laut Google ist die robots.txt-Steuerung für Googlebot der Weg, den Zugriff für die Suche einschließlich ihrer KI-Funktionen zu regeln. Wer Googlebot sperrt, verliert also auch AI Overviews und den KI-Modus. Für das Training von Gemini gibt es das separate Token Google-Extended. Anders als viele KI-Crawler kann Googlebot JavaScript darstellen, siehe JavaScript und KI-Crawler.
Häufige Fragen
Wie viel einer Seite liest Googlebot?
Laut Google die ersten 2 MB unterstützter Dateitypen und die ersten 64 MB bei PDFs, jeweils unkomprimiert.
Kann ich Googlebot Smartphone und Desktop getrennt steuern?
Nein. Beide folgen denselben robots.txt-Regeln.