Jahrelang war die Frage, wer die eigene Website ausliest, für die meisten Unternehmen keine Frage: Suchmaschinen durften crawlen, weil sie Besucher zurückschickten. Dieses Tauschgeschäft hat sich mit dem Aufstieg der KI-Antworten verschoben. Inhalte werden gelesen, zusammengefasst und beantwortet – der Klick auf die Quelle bleibt immer häufiger aus.
Cloudflare, über dessen Infrastruktur ein erheblicher Teil des Webs läuft, zieht daraus Konsequenzen. Zum 1. Juli 2026 hat das Unternehmen die Steuerung von KI-Traffic komplett umgebaut – und ein Datum gesetzt, das für viele Websites zum Stichtag wird: den 15. September 2026.
1. Was am 15. September 2026 konkret passiert
Bis Mitte 2026 gab es bei Cloudflare im Wesentlichen einen einzigen Schalter: KI-Bots blockieren – ja oder nein. Diese Alles-oder-nichts-Logik hat Cloudflare zum 1. Juli 2026 abgelöst. Seither können alle Kunden, auch im kostenlosen Tarif, KI-Traffic nach dem steuern, was ein Bot auf der Seite tatsächlich tut.
Für jede der drei Verhaltensklassen lässt sich getrennt festlegen: auf allen Seiten blockieren, nur auf Seiten mit Werbung blockieren oder gar nicht blockieren. Neu ist damit vor allem, dass man die nützliche KI-Nutzung von der rein entnehmenden trennen kann.
Der eigentliche Einschnitt ist jedoch die Änderung der Voreinstellung. Cloudflare formuliert es unmissverständlich: Ab dem 15. September 2026 erhalten neu aufgeschaltete Domains geänderte Standardwerte – Bots, die als Training oder als Agent klassifiziert sind, werden auf Seiten mit Werbung blockiert, während Search weiterhin erlaubt bleibt. Zum selben Datum fallen auch Mehrzweck-Crawler, die Suche und Training in einem Zugriff verbinden, unter die neue Training-Sperre. Ein Widerspruch gegen die neuen Standardwerte ist jederzeit vorher im Dashboard möglich.
Wichtig für die Einordnung: Die neuen Voreinstellungen greifen bei neu aufgeschalteten Domains. Nach übereinstimmender Berichterstattung sollen sie zusätzlich für alle bestehenden Kunden im kostenlosen Tarif gelten. Wer eine bestehende Domain in einem Bezahltarif betreibt, sollte seine Einstellungen trotzdem prüfen – verlassen Sie sich nicht darauf, dass „bei mir schon nichts passiert“.
2. Search, Agent, Training: die drei Verhaltensklassen
Der eigentliche konzeptionelle Fortschritt steckt nicht im Stichtag, sondern in der Kategorisierung. Nicht mehr „welcher Anbieter“ entscheidet, sondern „welches Verhalten“. Cloudflare beschreibt die drei Klassen so:
- Search: Crawler, die Inhalte erfassen und indexieren, um später Fragen dazu zu beantworten. Hier ist mit Verweisen auf die Quelle oder einer anderen fairen Gegenleistung zu rechnen – dieser Traffic bringt also potenziell etwas zurück.
- Agent: automatisiertes Verhalten, das in Echtzeit im Auftrag einer konkreten Person handelt. Dazu zählen Chat-Fetch-Bots, die eine Seite während eines Gesprächs abrufen, und Browser-Agenten, die für den Nutzer klicken und lesen.
- Training: Crawler, die Inhalte abgreifen, um damit ein Modell zu trainieren oder feinzutunen. Hier fließt der Wert vollständig ab: Der Text landet im Modell, ein Rückkanal zur Quelle existiert nicht.
Diese Trennung ist deshalb so relevant, weil sie eine Debatte auflöst, die bis 2026 unentschieden blieb: Viele Anbieter haben Suche, Antwortgenerierung und Training über denselben Crawler abgewickelt – wer blockierte, verlor alles; wer erlaubte, gab alles frei. Genau diese Bündelung adressiert die neue Regel.
Quelle: Cloudflare-Changelog „New options to manage AI traffic“ vom 1. Juli 2026. Jede Klasse lässt sich unabhängig auf erlauben, überall blockieren oder nur auf Werbeseiten blockieren stellen.
3. Wen die Umstellung trifft – und wen nicht
Die Schlagzeilen zum Thema drehen sich um große Verlage. Das ist nachvollziehbar, führt aber in die Irre: Betroffen ist jede Website, die über Cloudflare ausgeliefert wird – und das sind sehr viele mittelständische Seiten, oft ohne dass die Betreiber es bewusst entschieden hätten. Cloudflare steckt in unzähligen Hosting-Paketen, WordPress-Setups und Agentur-Konfigurationen.
Zwei Gruppen sollten jetzt besonders genau hinsehen:
- Websites mit Werbung: Die neuen Standardwerte greifen ausdrücklich auf Seiten, die Anzeigen ausspielen. Wer Display-Werbung, Affiliate-Banner oder Anzeigennetzwerke einbindet, fällt in den Anwendungsbereich – auch als kleiner Fachblog.
- Neu aufgesetzte Domains und Free-Tarife: Wer nach dem 15. September eine neue Domain aufschaltet, startet automatisch mit der neuen Voreinstellung. Wer nichts prüft, hat eine Entscheidung getroffen, ohne sie getroffen zu haben.
Für eine klassische Unternehmenswebsite ohne Werbeflächen ändert sich zunächst wenig. Das ist allerdings kein Grund, das Thema abzuhaken: Die Richtung ist klar erkennbar, und die Steuerungsmöglichkeiten stehen ab sofort allen offen – auch denen, die sie bisher gar nicht kannten.
4. Der Zielkonflikt: Sichtbarkeit gegen Kontrolle
Hier liegt der eigentliche strategische Kern – und der Punkt, an dem viele Diskussionen entgleisen. „KI-Crawler blockieren“ klingt nach Schutz. In der Praxis ist es eine Abwägung mit realen Kosten auf beiden Seiten.
Wer Search sperrt, verschwindet potenziell aus den Quellenangaben, die ChatGPT, Perplexity, Gemini und Copilot unter ihren Antworten ausweisen. Genau diese Zitate sind 2026 der neue Sichtbarkeitskanal. Wir haben in unserem Beitrag zu Generative Engine Optimization beschrieben, warum die Präsenz in KI-Antworten für viele Branchen längst kein Nebenschauplatz mehr ist. Wer die Tür für die Suchcrawler zumacht, macht sie auch für diese Sichtbarkeit zu.
Wer dagegen alles offen lässt, akzeptiert, dass Inhalte in Trainingsdaten wandern, ohne dass ein Verweis, ein Besucher oder eine Vergütung zurückkommt. Bei aufwendig recherchierten Inhalten ist das ein echter Wertverlust – besonders in einem Umfeld, in dem der Anteil klickloser Suchen ohnehin steigt.
Die Frage lautet nicht mehr „KI-Crawler zulassen oder nicht“, sondern: Für welche Art der Nutzung öffne ich meine Inhalte – und wofür erwarte ich eine Gegenleistung?
5. Von Pay per Crawl zu Pay per Use
Die Sperre ist nur die eine Hälfte der Geschichte. Bereits 2025 hatte Cloudflare mit Pay per Crawl ein Modell vorgestellt, bei dem KI-Anbieter für den Zugriff auf Inhalte bezahlen – Preise setzen die Websitebetreiber, die KI-Anbieter entscheiden, ob sie zugreifen. Zahlreiche große Medienhäuser haben sich damals angeschlossen.
2026 hat Cloudflare das Modell weiterentwickelt: Unter dem Stichwort Pay per Use soll nicht mehr der bloße Abruf einer Seite vergütet werden, sondern die tatsächliche Verwendung – also der Fall, dass Inhalte in eine KI-Antwort einfließen oder ein Agent gezielt für eine Aufgabe darauf zugreift. Ökonomisch ist das der logischere Ansatz, weil er den Wert dort misst, wo er entsteht.
Für den Mittelstand ist das vorerst eher ein Signal als eine Einnahmequelle: Solche Modelle rechnen sich zunächst für Websites mit großen Inhaltsbeständen. Die Richtung ist trotzdem bemerkenswert – der freie Zugriff auf Webinhalte, der 25 Jahre lang selbstverständlich war, wird zu einer verhandelbaren Leistung.
6. Was passiert, wenn Sie Training sperren?
Die ehrliche Antwort: In den meisten Fällen weniger, als man befürchtet – aber auch weniger, als man sich erhofft.
6.1 Ihre KI-Sichtbarkeit bleibt in der Regel erhalten
Solange Search erlaubt bleibt, können KI-Systeme Ihre Seite weiterhin indexieren und in Antworten zitieren. Genau das ist der Sinn der neuen Trennung. Ihre Chance, in einer Antwort auf „Wer bietet X in Hamburg an?“ aufzutauchen, hängt weiterhin an Inhalt, Struktur und Autorität – nicht an der Trainingsfreigabe. Wie Sie diese Faktoren stärken, haben wir im Beitrag zu E-E-A-T und KI-Autorität aufgeschlüsselt.
6.2 Ihre Inhalte verschwinden nicht rückwirkend aus den Modellen
Was bereits in Trainingsdaten eingeflossen ist, lässt sich durch eine Sperre nicht zurückholen. Eine Blockade wirkt ausschließlich nach vorn. Wer erwartet, dass die eigene Marke dadurch aus bestehenden Modellen verschwindet, wird enttäuscht – und das ist meist auch gar nicht gewollt.
6.3 Nicht jeder Crawler hält sich an Regeln
Eine Sperre auf CDN-Ebene ist deutlich verbindlicher als ein Eintrag in der robots.txt, aber auch sie ist kein absoluter Schutz. Crawler, die sich als normale Browser ausgeben, sind nur mit erheblichem Aufwand zu erkennen. Realistische Erwartung: Sie steuern das seriöse Feld, nicht das gesamte Internet.
7. In sechs Schritten zur richtigen Einstellung
Konkret und in dieser Reihenfolge – der Aufwand liegt bei etwa einer halben Stunde:
- 1. Prüfen, ob Cloudflare überhaupt im Spiel ist. Viele Betreiber wissen es nicht. Ein Blick in die DNS-Einstellungen der Domain oder eine Rückfrage bei Hoster beziehungsweise Agentur klärt das in Minuten.
- 2. Werbeflächen inventarisieren. Spielt Ihre Website Anzeigen aus – auch Affiliate-Banner oder eingebundene Netzwerke? Dann greifen die neuen Standardwerte bei Ihnen unmittelbar.
- 3. Die drei Klassen bewusst entscheiden. Für die meisten mittelständischen Websites gilt: Search erlauben (Sichtbarkeit), Agent erlauben (Ihre Kunden nutzen zunehmend Assistenten), Training bewusst abwägen.
- 4. Vor dem 15. September einstellen. Wer die bisherigen Einstellungen behalten möchte, kann den neuen Voreinstellungen im Dashboard vorher widersprechen. Danach ist es ein Nachjustieren statt einer Vorentscheidung.
- 5. Auswirkungen messen. Beobachten Sie nach der Umstellung, ob Referral-Traffic aus KI-Systemen einbricht. Wie sich dieser Kanal überhaupt messen lässt, zeigen wir im Beitrag zur neuen AI-Assistant-Channel-Gruppe in GA4.
- 6. Entscheidung dokumentieren. Halten Sie fest, was Sie warum eingestellt haben. In zwölf Monaten wird niemand mehr wissen, ob die Konfiguration Absicht oder Voreinstellung war.
8. Ohne Cloudflare: robots.txt und ihre Grenzen
Läuft Ihre Website nicht über Cloudflare, ändert sich am 15. September nichts automatisch. Steuern können Sie trotzdem – nur mit schwächeren Mitteln.
Das naheliegendste Werkzeug ist die robots.txt. Dort lassen sich einzelne KI-Crawler gezielt ansprechen: GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic, PerplexityBot, Google-Extended, Bytespider und weitere. Der entscheidende Unterschied zur CDN-Sperre: Die robots.txt ist eine Bitte, keine technische Barriere. Seriöse Anbieter halten sich daran, andere ignorieren sie.
Ein häufiger und teurer Fehler an dieser Stelle: pauschal alles zu sperren, was „Bot“ heißt. Damit schließen Sie im Zweifel auch die Crawler aus, die Ihre Inhalte in KI-Antworten zitieren würden – ein selbst verschuldeter Sichtbarkeitsverlust. Wer verbindlich sperren will, braucht ohnehin eine Regel auf Server- oder Firewall-Ebene.
Und noch eine Einordnung, weil die Frage regelmäßig kommt: Eine llms.txt ist kein Steuerungsinstrument für Zugriffe. Sie beschreibt Inhalte, sie erlaubt oder verbietet nichts.
9. Fazit: Eine Entscheidung, die Sie aktiv treffen sollten
Cloudflares neue Regeln sind weniger ein technisches Update als eine ökonomische Weichenstellung. Sie machen sichtbar, dass der Zugriff auf Webinhalte kein Naturgesetz ist, sondern ein Tausch – und dass dieser Tausch in den vergangenen Jahren aus dem Gleichgewicht geraten ist.
Für den Mittelstand ist die pauschale Blockade selten die richtige Antwort. Wer in KI-Antworten vorkommen will, muss auffindbar bleiben. Die sinnvolle Haltung ist differenzierter: die Suche offen halten, Agenten zulassen, das Training bewusst entscheiden – und diese Entscheidung nicht dem Zufall einer Voreinstellung überlassen.
Unsere Einschätzung: Nicht blockieren, sondern differenzieren. Der 15. September 2026 ist kein Grund zur Panik, aber ein guter Anlass, zum ersten Mal bewusst zu entscheiden, wer Ihre Inhalte zu welchem Zweck lesen darf. Prüfen Sie vorher, ob Cloudflare bei Ihnen im Einsatz ist – und wie die drei Schalter stehen.
Lesen Sie auch: Ist Ihre Website in ChatGPT sichtbar? und Werbung in KI-Antworten: Was Ads in ChatGPT und Perplexity für KMU bedeuten
10. FAQ: Die wichtigsten Fragen zu KI-Crawlern
Was ändert sich am 15. September 2026 bei Cloudflare?
Ab dem 15. September 2026 gelten für neu bei Cloudflare aufgeschaltete Domains neue Standardwerte für KI-Traffic: Crawler, die als Training oder als Agent eingestuft sind, werden auf Seiten mit Werbung blockiert. Crawler mit dem Verhalten Search bleiben erlaubt. Mehrzweck-Crawler, die Suche und Training kombinieren, fallen ab diesem Datum unter die neue Training-Sperre. Wer die alten Einstellungen behalten will, kann jederzeit vor dem 15. September im Cloudflare-Dashboard widersprechen.
Was ist der Unterschied zwischen Search, Agent und Training?
Cloudflare unterscheidet KI-Traffic nicht mehr nach Anbieter, sondern nach Verhalten. Search meint Crawler, die Inhalte indexieren, um später Fragen dazu zu beantworten – hier ist mit Verweisen oder anderer Gegenleistung zu rechnen. Agent meint automatisierte Zugriffe, die in Echtzeit im Auftrag einer Person handeln, etwa Chat-Fetch-Bots oder Browser-Agenten. Training meint Crawler, die Inhalte abgreifen, um ein Modell zu trainieren oder feinzutunen. Jede der drei Klassen lässt sich separat auf erlauben, überall blockieren oder nur auf Seiten mit Werbung blockieren stellen.
Schadet es meiner Sichtbarkeit in ChatGPT, wenn ich KI-Crawler blockiere?
Es kommt darauf an, welche Klasse Sie blockieren. Wer Search sperrt, riskiert, aus den Quellenangaben von KI-Antworten zu verschwinden – das trifft die KI-Sichtbarkeit direkt. Wer nur Training sperrt, verhindert die Nutzung der Inhalte zum Modelltraining, bleibt aber in der Regel weiterhin zitierbar. Für die meisten mittelständischen Unternehmen ist genau diese Trennung die sinnvolle Einstellung: Search offen halten, Training bewusst entscheiden.
Was gilt, wenn meine Website nicht über Cloudflare läuft?
Dann ändert sich am 15. September 2026 für Sie nichts automatisch. Steuerung ist trotzdem möglich, allerdings mit schwächeren Mitteln: In der robots.txt lassen sich einzelne KI-Crawler wie GPTBot, ClaudeBot, PerplexityBot oder Google-Extended ansprechen. Das ist jedoch nur eine Bitte, keine technische Sperre – seriöse Anbieter halten sich daran, andere nicht. Wer verbindlich sperren will, braucht eine Sperre auf Server- oder CDN-Ebene.
