KI-Crawler
Auch: AI Crawler, KI-Bots, LLM-Crawler
KI-Crawler sind Programme von KI-Anbietern, die Websites abrufen, entweder für das Training von Modellen oder um aktuelle Quellen für KI-Antworten zu finden.
KI-Crawler sind Bots von KI-Anbietern, die Websites abrufen. Man unterscheidet Crawler für das Training von Modellen und Crawler für die Suche und Live-Abfragen. Wer in KI-Antworten als Quelle erscheinen will, sollte vor allem die Such-Crawler zulassen. Die Steuerung erfolgt meist über die robots.txt.
Beispiele
| Crawler | Zweck laut Anbieter |
|---|---|
| PerplexityBot | Suche bei Perplexity, nicht für Modelltraining |
| Perplexity-User | Abruf auf Nutzeranfrage |
| Google-Extended | Steuerung der Nutzung für Gemini-Training, ohne Einfluss auf die Google-Suche |
| Bingbot | Suche bei Bing und damit Microsoft Copilot |
Bedeutung für KI-Sichtbarkeit
Wer Such-Crawler blockiert, kann in den jeweiligen KI-Suchen nicht als Quelle erscheinen. Wie Sie die robots.txt richtig einstellen, erklärt der Artikel KI-Crawler und robots.txt.
Häufige Fragen
Sollte ich alle KI-Crawler blockieren?
Nur wenn Sie bewusst nicht in KI-Antworten erscheinen wollen. Trainings-Crawler lassen sich getrennt von Such-Crawlern steuern.