X-Robots-Tag
Auch: X-Robots-Tag Header, HTTP-Robots-Header
Der X-Robots-Tag ist ein HTTP-Header, mit dem sich Indexierungs- und Snippet-Regeln wie noindex oder nosnippet für beliebige Dateien festlegen lassen, auch für PDFs.
Der X-Robots-Tag ist ein HTTP-Header, der dieselben Regeln wie das Robots-Meta-Tag kennt, zum Beispiel noindex oder nosnippet. Sein Vorteil: Er funktioniert auch für Dateien ohne HTML, etwa PDFs oder Bilder, und lässt sich serverseitig für ganze Dateitypen setzen.
Beispiele
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: nosnippet
# Apache (.htaccess), alle PDFs nicht indexieren
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>| Werkzeug | Steuert | Geeignet für |
|---|---|---|
| robots.txt | ob Crawler eine URL abrufen dürfen | ganze Bereiche, einzelne Bots |
| Robots-Meta-Tag | Indexierung und Snippets einer HTML-Seite | einzelne Seiten |
| X-Robots-Tag | Indexierung und Snippets per HTTP-Header | PDFs, Bilder, ganze Dateitypen |
Bedeutung für KI-Sichtbarkeit
Laut Google lassen sich die Inhalte in AI Overviews und im KI-Modus mit denselben Regeln begrenzen wie in der normalen Suche, also mit nosnippet, data-nosnippet, max-snippet oder noindex. Wer versehentlich noindex oder nosnippet per Header ausliefert, verschwindet damit auch aus den KI-Funktionen der Google-Suche. Ein Blick in die HTTP-Header gehört deshalb in jeden technischen Check. Für die Steuerung von KI-Crawlern anderer Anbieter ist dagegen meist die robots.txt zuständig, siehe KI-Crawler und robots.txt.
Häufige Fragen
Wie prüfe ich, ob meine Seite einen X-Robots-Tag sendet?
Zum Beispiel mit den Entwicklertools des Browsers im Reiter Netzwerk oder mit dem URL-Prüftool der Google Search Console.
Wirkt der X-Robots-Tag, wenn die URL in der robots.txt gesperrt ist?
Nein. Ist der Abruf per robots.txt gesperrt, sieht der Crawler den Header gar nicht. Eine gesperrte URL kann daher trotzdem ohne Inhalt im Index landen.