User-Agent
Auch: User Agent String, Browserkennung
Der User-Agent ist eine Kennung, die Browser und Crawler bei jedem Abruf mitsenden und mit der sie sich gegenüber dem Server ausweisen.
Der User-Agent ist eine Textkennung im HTTP-Header jeder Anfrage. Browser geben damit ihren Namen und ihre Version an, Crawler ihren Namen, etwa GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot. In der robots.txt richten sich Regeln über die Zeile User-agent an bestimmte Crawler. Laut Google wird der User-Agent häufig gefälscht.
User-agent: GPTBot
Disallow: /intern/Bedeutung für KI-Sichtbarkeit
Über den User-Agent erkennen Sie in den Server-Logfiles, welche KI-Crawler Ihre Seite besuchen, und steuern sie in der robots.txt. Weil sich jeder als GPTBot ausgeben kann, sollten Sie wichtige Auswertungen mit einer Crawler-Verifizierung absichern. Siehe auch KI-Crawler.
Häufige Fragen
Wo sehe ich den User-Agent?
In den Server-Logfiles, die Ihr Hoster bereitstellt, oder in den Entwicklertools des Browsers.
Nutzen KI-Agenten in Browsern eigene User-Agents?
Nicht immer. KI-Browser verwenden oft normale Browser-Kennungen, siehe KI-Browser.