Cloudflare blockiert KI-Crawler: Was Website-Betreiber jetzt prüfen sollten
Cloudflare, über das laut eigenen Angaben rund 20 % des Webverkehrs laufen, hat im Juli 2025 begonnen, neue Domains zu fragen, ob KI-Crawler erlaubt sein sollen, mit Blockieren als Voreinstellung. Seit September 2026 unterscheidet Cloudflare zwischen Such-, Agenten- und Trainings-Bots. Wer Cloudflare nutzt, sollte prüfen, ob Crawler von ChatGPT, Perplexity oder Claude ungewollt ausgesperrt werden, denn dann kann die Website dort nicht als Quelle erscheinen.
- Seit 1. Juli 2025: Neue Domains werden gefragt, ob KI-Crawler erlaubt sind; Standard ist Blockieren.
- Seit Juli 2026: getrennte Einstellungen für Such-, Agenten- und Trainings-Bots.
- Such-Bots sollten für KI-Sichtbarkeit erlaubt sein.
- Neben Cloudflare können auch Hoster, Firewalls und Sicherheits-Plugins blockieren.
Was Cloudflare geändert hat
| Datum | Änderung laut Cloudflare |
|---|---|
| 1. Juli 2025 | Neue Domains werden gefragt, ob KI-Crawler erlaubt sein sollen, Standard ist Blockieren; Start von „Pay Per Crawl“ als Beta |
| 1. Juli 2026 | Neue Kategorien: Such-Bots, Agenten-Bots und Trainings-Bots, für alle Kunden einstellbar |
| 15. September 2026 | Für neue Domains: Trainings- und Agenten-Bots auf Seiten mit Werbung standardmäßig blockiert, Such-Bots erlaubt |
Cloudflare begründet die Änderungen damit, dass Website-Betreiber mehr Kontrolle über die Nutzung ihrer Inhalte durch KI-Unternehmen bekommen sollen. Für Verlage kann das sinnvoll sein. Für Unternehmen, die in KI-Antworten empfohlen werden wollen, ist eine pauschale Sperre dagegen meist kontraproduktiv.
Welche Bots Sie erlauben sollten
| Kategorie | Beispiele | Empfehlung |
|---|---|---|
| Such-Bots | OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot | erlauben |
| Agenten- und Nutzer-Abrufe | ChatGPT-User, Claude-User, Perplexity-User | in der Regel erlauben |
| Trainings-Bots | GPTBot, ClaudeBot, Google-Extended | nach eigener Abwägung |
Mehr zu den einzelnen Crawlern: OAI-SearchBot, Google-Extended und KI-Crawler und robots.txt.
So prüfen Sie Ihre Einstellungen
- Im Cloudflare-Dashboard unter den Sicherheits- bzw. Bot-Einstellungen nachsehen, welche KI-Bots blockiert werden.
- Prüfen, ob Cloudflare eine verwaltete robots.txt ausliefert, und sie mit Ihrer eigenen vergleichen.
- In den Server-Logfiles oder in Cloudflare-Analysen kontrollieren, ob KI-Crawler Ihre Seiten erfolgreich abrufen, siehe KI-Crawler in Logfiles erkennen.
- Mit dem kostenlosen KI-Check testen, ob ChatGPT, Perplexity und Claude Ihre Seite als Quelle nennen.
Auch ohne Cloudflare kann es Sperren geben: Manche Hoster, Web Application Firewalls und Sicherheits-Plugins blockieren unbekannte Bots automatisch. Prüfen Sie deshalb alle Ebenen.
Wie sichtbar ist Ihre Marke? Der kostenlose Check zeigt, ob KI-Systeme Sie nennen.
Mehr zum Bezahlmodell: Pay Per Crawl.
Häufige Fragen
Sind bestehende Cloudflare-Kunden betroffen?
Die neuen Standards gelten laut Cloudflare vor allem für neu hinzugefügte Domains. Bestehende Kunden können die Einstellungen aber selbst ändern und sollten sie prüfen.
Was ist Pay Per Crawl?
Ein Modell von Cloudflare, mit dem Website-Betreiber KI-Crawlern den Zugriff in Rechnung stellen können. Cloudflare hat das Modell 2026 weiterentwickelt.
Verliere ich Google-Rankings, wenn ich KI-Trainings-Bots sperre?
Nein, solange Googlebot erlaubt bleibt. Google-Extended beeinflusst laut Google weder die Aufnahme in die Suche noch das Ranking.
Mehr zu SEO
Barrierefreiheit und KI-Sichtbarkeit: Warum barrierefreie Websites auch KI-Agenten helfen
Barrierefreiheit und KI-Sichtbarkeit: Warum semantisches HTML, Alt-Texte und ARIA-Labels nicht nur Menschen mit Behinderung helfen, sondern auch KI-Agenten wie ChatGPT Atlas. Mit Überblick zum Barrierefreiheitsstärkungsgesetz.
3 Min. · 02.10.2026Interne Verlinkung für KI-Sichtbarkeit: So finden Crawler Ihre wichtigsten Seiten
Interne Verlinkung für KI-Sichtbarkeit: Wie crawlbare Links, beschreibende Ankertexte und eine klare Seitenstruktur Suchmaschinen und KI-Crawlern helfen, Ihre wichtigsten Inhalte zu finden und einzuordnen.
3 Min. · 30.09.2026Über-uns-Seite und Organization-Markup: So wird Ihr Unternehmen für KI eindeutig
Über-uns-Seite und Organization-Markup für KI-Sichtbarkeit: Welche Angaben auf die Seite gehören, wie Sie Organization-Markup nach Googles Vorgaben umsetzen und warum einheitliche Unternehmensdaten wichtig sind.
3 Min. · 02.10.2026