Es gibt eine Sorte Empfehlung, die sich schneller verbreitet, als sie überprüft wird. llms.txt ist so eine. Der Vorschlag klingt einleuchtend: eine Textdatei im Wurzelverzeichnis, die KI-Systemen in aufgeräumter Form sagt, worum es auf dieser Website geht – so wie robots.txt den Suchmaschinen sagt, was sie lesen dürfen. Seit 2024 steht die Datei auf praktisch jeder GEO-Checkliste.
Nur: Die Systeme, für die sie gedacht ist, fragen sie kaum ab. Auswertungen von mehreren hundert Millionen Bot-Zugriffen zeigen, dass GPTBot und seine Artgenossen HTML holen und die llms.txt weitgehend übergehen. Der Anteil der KI-Crawler-Zugriffe, die überhaupt auf diese Adresse gehen, ist verschwindend klein.
Die Kurzfassung: llms.txt schadet nicht, kostet wenig und hilft an einer Stelle, an der kaum jemand sie vermutet. Sie ist nur nicht das, wofür sie verkauft wird – und sie ersetzt keine der drei Maßnahmen, die tatsächlich steuern, wer Ihre Inhalte liest und zitiert.
1. Was llms.txt sein sollte – und was daraus wurde
Die Idee stammt aus dem Umfeld der Entwicklerdokumentation und ist gut gemeint: Große Websites sind für ein Sprachmodell unübersichtlich. Navigation, Werbeflächen, Cookie-Banner und Fußzeilen machen den eigentlichen Inhalt schwer auffindbar. Eine llms.txt im Wurzelverzeichnis sollte deshalb in Markdown zusammenfassen, was die Website ist, welche Seiten die wichtigen sind und wo die Volltexte liegen.
Der Haken liegt nicht in der Idee, sondern in der Annahme dahinter: dass die Empfänger sie abholen. Ein Standard entsteht nicht dadurch, dass jemand ein Format vorschlägt – sondern dadurch, dass die andere Seite es liest. Genau das ist bei llms.txt bisher nicht passiert. Wie das Format gedacht war und wie eine saubere Datei aussieht, haben wir im Grundlagenbeitrag zu llms.txt beschrieben.
2. Die Zahlen: 7,4 % der Fortune 500, und kaum Abrufe
Zwei Messgrößen sind für die Einordnung interessant – Verbreitung und Nutzung. Beide fallen nüchtern aus.
Zwei Lesarten sind möglich, und beide stimmen. Die erste: Ein Format mit unter acht Prozent Verbreitung bei den größten Unternehmen der Welt ist kein Standard, sondern ein Vorschlag. Die zweite: Verbreitung sagt nichts über Nutzen – man muss schauen, ob die Empfänger sie lesen. Sie tun es überwiegend nicht.
Vorsicht bei absoluten Zahlen. Die 7,4 % beziehen sich auf einen Stichtag im März 2026 und auf eine bestimmte Grundgesamtheit. Bei Anbietern technischer Dokumentation liegt die Verbreitung deutlich höher – dort ist das Format entstanden. Wer die Zahl auf „alle Websites" hochrechnet, rechnet falsch.
3. Wer die Datei heute tatsächlich liest
Interessanterweise ist llms.txt nicht wirkungslos – sie wirkt nur woanders, als die Checklisten behaupten. Abgefragt wird sie heute vor allem von:
- Agentischen Browsern und KI-Assistenten, die im Auftrag eines Nutzers gerade jetzt auf Ihrer Seite sind – nicht von Trainings-Crawlern.
- Entwicklerwerkzeugen, die eine Dokumentation maschinell erschließen wollen.
- Prüfwerkzeugen wie Lighthouse-Audits, die das Vorhandensein als Signal werten.
Das ist eine kleinere, aber keine unwichtige Gruppe. Wenn ein KI-Assistent im Auftrag eines Interessenten gerade Ihre Seite liest, ist das der wertvollste Moment überhaupt – näher an einer Kaufentscheidung geht es kaum. Nur ist das eben eine andere Begründung als „damit ChatGPT Sie kennt".
4. Die Crawler, auf die es ankommt – und was sie unterscheidet
Wer Sichtbarkeit in KI-Antworten steuern will, muss zuerst wissen, wer da eigentlich klopft. Die Kennungen sind öffentlich, und sie tun verschiedene Dinge:
| Kennung | Anbieter | Wofür |
|---|---|---|
GPTBot | OpenAI | Sammelt Inhalte für das Training der Modelle |
OAI-SearchBot | OpenAI | Baut den Index für die Suche in ChatGPT – die Grundlage für Zitate |
ChatGPT-User | OpenAI | Holt eine Seite auf Zuruf, wenn ein Nutzer gerade danach fragt |
ClaudeBot | Anthropic | Der Haupt-Crawler; daneben werden anthropic-ai und claude-web beobachtet |
PerplexityBot | Perplexity | Indiziert für die Perplexity-Suche |
Perplexity-User | Perplexity | Holt eine Seite auf Zuruf für eine konkrete Nutzerfrage |
Google-Extended | Steuert nur die Nutzung für Gemini und Vertex AI – nicht die Google-Suche | |
CCBot | Common Crawl | Öffentlicher Web-Datensatz, der breit als Trainingsgrundlage dient |
Die Zeile, die in der Praxis für die meisten Missverständnisse sorgt, ist Google-Extended. Wer sie sperrt, verschwindet nicht aus der Google-Suche und auch nicht aus den AI Overviews – die laufen über den gewöhnlichen Googlebot. Gesperrt wird nur die Verwendung für Gemini-Training. Wir haben mehr als einmal erlebt, dass diese Zeile aus Vorsicht gesetzt und dann als Ursache für Rückgänge vermutet wurde, die ganz woanders herkamen.
5. robots.txt: die Steuerung, die wirklich greift
Wenn llms.txt kaum abgefragt wird – was steuert dann? Nach wie vor die robots.txt. Sie ist unspektakulär, alt und wird von den erklärten Bots der großen Anbieter beachtet. Zwei Einschränkungen gehören dazu:
- Sie ist freiwillig. robots.txt ist eine Bitte, keine Sperre. Wer sie ignorieren will, kann es. 2025 wurde Perplexity öffentlich vorgeworfen, mit nicht deklarierten Crawlern an Sperren vorbeigegangen zu sein – der Vorwurf zeigt beides: dass es vorkommt, und dass es auffällt.
- Sie wirkt nur auf das Lesen, nicht auf das Wissen. Was ein Modell vor der Sperre gelernt hat, bleibt gelernt.
Wichtig für die Praxis: Eine benannte Bot-Gruppe in der robots.txt ersetzt die Regeln aus User-agent: * vollständig – sie ergänzt sie nicht. Wer eine Gruppe für KI-Crawler anlegt und die allgemeinen Sperren dort nicht wiederholt, hebt sie für genau diese Bots auf. Das ist der häufigste Fehler, den wir in Audits finden.
6. Der Unterschied, den fast alle übersehen
Die wichtigste Unterscheidung dieses Themas steht in keiner Checkliste, weil sie unbequem ist: Training und Zitat sind zwei verschiedene Vorgänge mit zwei verschiedenen Crawlern – und die meisten Unternehmen wollen unterschiedliche Antworten darauf.
| Frage | Zuständig | Typische Antwort für KMU |
|---|---|---|
| Darf mein Inhalt ein Modell trainieren? | GPTBot, ClaudeBot, CCBot, Google-Extended |
Meist ja – der Inhalt ist ohnehin öffentlich, und Bekanntheit hilft |
| Darf ich in Antworten zitiert werden? | OAI-SearchBot, PerplexityBot, Googlebot |
Unbedingt ja. Das ist der Kanal, über den Kunden kommen |
| Darf ein Assistent meine Seite gerade jetzt lesen? | ChatGPT-User, Perplexity-User |
Ja – hier sitzt ein echter Interessent davor |
Wer pauschal „alle KI-Bots" sperrt, beantwortet alle drei Fragen mit Nein – und schließt damit den Kanal, über den die Kundschaft kommt, um einen Trainingsvorgang zu verhindern, der ihm selten schadet. Das ist der teuerste Fehler in diesem Feld. Wie schnell diese Entscheidung durch eine Voreinstellung des Hosters getroffen wird, zeigt Cloudflares neue Standardregel ab dem 15. September 2026.
7. Was statt dessen wirkt
Zitiert wird, was ein System schnell versteht und guten Gewissens weitergeben kann. Das ist weniger eine Datei-Frage als eine Frage der Bauart Ihrer Seiten:
- Die Antwort steht direkt unter der Frage. Eine Überschrift als Frage, darunter zwei bis drei Sätze, die für sich allein stehen. Genau dieser Block landet im Zitat.
- Zahlen mit Datum und Quelle. Ein Wert ohne Herkunft wird nicht zitiert – er ist für ein System nicht überprüfbar.
- Strukturierte Daten, die zur Seite passen: Organisation, Artikel, FAQ. Sie sind für die Maschine die Kurzfassung der Seite.
- Nachprüfbare Urheberschaft. Autor mit Namen, Funktion und einer Seite, die belegt, warum er es wissen kann.
- Ein sichtbares Aktualisierungsdatum – maschinenlesbar, nicht nur im Fließtext.
- Erreichbarkeit ohne Umwege. Inhalt, der erst nach Skriptausführung erscheint, ist für viele Crawler nicht da.
Nichts davon ist neu, und genau das ist der Punkt: Die Maßnahmen, die KI-Sichtbarkeit erzeugen, sind fast deckungsgleich mit denen, die gute klassische Auffindbarkeit erzeugen. Wer eine getrennte „GEO-Strategie" verkauft bekommt, sollte fragen, worin sie sich von sauberer Arbeit unterscheidet – und ob Generative Engine Optimization und nachweisbare Autorität nach E-E-A-T darin überhaupt vorkommen.
8. Checkliste: Sichtbarkeit in KI-Antworten in 7 Schritten
OAI-SearchBot und PerplexityBot gehören nicht gesperrt – über sie kommen die Klicks.9. Fazit: Nicht falsch, nur überschätzt
llms.txt ist keine schlechte Idee. Sie ist eine Idee, deren Empfänger noch nicht zugehört haben. Wer sie anlegt, tut nichts Falsches – wer sie an den Anfang seiner Liste setzt, verwechselt eine Vorbereitung mit einer Wirkung.
Die drei Dinge, die 2026 tatsächlich steuern, wer Ihre Inhalte liest und zitiert, sind unspektakulär: eine durchdachte robots.txt, die zwischen Training und Zitat unterscheidet. Inhalte, deren Kernaussagen ohne Kontext zitierbar sind. Und Belege, die ein System nachprüfen kann. Der Rest ist Kür.
Wenn Sie eine Sache tun: Öffnen Sie Ihre robots.txt und schauen Sie nach, ob dort eine benannte Gruppe für KI-Bots steht. Wenn ja, prüfen Sie, ob die allgemeinen Sperren darin wiederholt sind. Diese eine Prüfung findet mehr echte Fehler als jede llms.txt, die Sie danach schreiben. Für lokale Anbieter kommt eine zweite Baustelle dazu: Google Business Profile und einheitliche NAP-Daten.
10. FAQ: Die häufigsten Fragen zu llms.txt und KI-Crawlern
Brauche ich eine llms.txt?
Brauchen: nein. Die großen KI-Crawler fragen sie kaum ab. Nützlich ist sie für agentische Assistenten, die im Auftrag eines Nutzers gerade auf Ihrer Seite sind, und für Entwicklerwerkzeuge. Wenn Sie eine halbe Stunde übrig haben, legen Sie sie an – aber erst, wenn die robots.txt sauber ist.
Wie viele Unternehmen haben eine llms.txt?
Von den Fortune 500 hatten am 31. März 2026 genau 37 eine veröffentlicht – 7,4 Prozent. Bei Anbietern technischer Dokumentation ist die Verbreitung deutlich höher, dort ist das Format entstanden.
Blockiere ich Google, wenn ich Google-Extended sperre?
Nein. Google-Extended steuert ausschließlich die Nutzung für Gemini und Vertex AI. Die Google-Suche und die AI Overviews laufen über den gewöhnlichen Googlebot und sind davon nicht betroffen.
Halten sich KI-Anbieter an die robots.txt?
Die großen Anbieter erklären das öffentlich für ihre deklarierten Bots, und im Regelfall stimmt es. Verlassen sollte man sich nicht darauf: robots.txt ist eine Bitte, keine technische Sperre. 2025 stand der Vorwurf im Raum, Perplexity habe mit nicht deklarierten Crawlern an Sperren vorbeigearbeitet. Wer wirklich sperren muss, braucht eine Sperre auf Serverebene.
Sollte ich KI-Crawler ganz aussperren?
In den meisten Fällen nein – und wenn, dann getrennt entschieden. Trainings-Crawler zu sperren ist eine legitime Haltung. Zitat-Crawler zu sperren heißt, aus KI-Antworten zu verschwinden, in denen Ihre Wettbewerber dann allein stehen.
Was ist der Unterschied zwischen llms.txt und robots.txt?
robots.txt sagt, ob gelesen werden darf, und wird beachtet. llms.txt will sagen, was wichtig ist, und wird kaum abgefragt. Die eine ist eine Zugangsregel, die andere ein Inhaltsverzeichnis – und nur die erste hat Empfänger.
Woran merke ich, ob ich in KI-Antworten vorkomme?
Am ehrlichsten: Stellen Sie die zehn Fragen, die Ihre Kunden stellen, in ChatGPT, Perplexity und Google – und notieren Sie, wer zitiert wird. Das dauert eine Stunde und sagt mehr als jedes Werkzeug. In den Server-Protokollen sehen Sie zusätzlich, welche der oben genannten Kennungen bei Ihnen vorbeikommen. Zahlen dazu liefert inzwischen auch der Generative-AI-Bericht in der Search Console; einen schnellen Einstieg gibt unser KI-Sichtbarkeits-Score.
Quellen und Stand
Die Verbreitungszahl (37 von 500 Fortune-500-Unternehmen, Stichtag 31.03.2026) und der Befund zur geringen Abrufhäufigkeit stammen aus einer Auswertung von Bot-Zugriffsdaten, die im Sommer 2026 veröffentlicht wurde. Die Crawler-Kennungen und ihre Zuordnung folgen den Angaben der Anbieter und einer zusammenfassenden Übersicht aus 2026. Der Vorwurf gegen Perplexity aus dem Jahr 2025 wurde von Cloudflare erhoben; er ist als Vorwurf wiedergegeben, nicht als festgestellter Sachverhalt.
Nicht übernommen haben wir kursierende Prozentwerte zur „Sichtbarkeitssteigerung durch llms.txt" – für keine davon ließ sich eine nachvollziehbare Messgrundlage finden. Stand aller Angaben: 27. August 2026.