ClaudeBot
Auch: Anthropic ClaudeBot, Claude-SearchBot, Claude-User
ClaudeBot ist der Crawler von Anthropic, der öffentlich zugängliche Webinhalte für das Training der Claude-Modelle sammelt.
ClaudeBot ist ein Crawler von Anthropic, dem Unternehmen hinter Claude. Anthropic nutzt drei Bots: ClaudeBot für Trainingsdaten, Claude-SearchBot zur Verbesserung der Suchergebnisse und Claude-User für Abrufe, die Nutzer mit ihren Fragen auslösen. Laut Anthropic beachten alle drei die robots.txt, einschließlich der Angabe Crawl-delay.
Bedeutung für KI-Sichtbarkeit
Wer in Claude-Antworten als Quelle erscheinen möchte, sollte vor allem Claude-SearchBot und Claude-User nicht sperren. Laut Vercel führt ClaudeBot kein JavaScript aus. Mehr im Ratgeber Claude SEO und unter KI-Crawler.
Häufige Fragen
Kann ich nur das Training sperren?
Ja. Sperren Sie in der robots.txt nur ClaudeBot und lassen Sie Claude-SearchBot und Claude-User zu.
Beachtet ClaudeBot Crawl-delay?
Laut Anthropic ja. Damit lässt sich die Abrufhäufigkeit begrenzen.