Eine Website kann für Menschen tadellos funktionieren – schnelle Navigation, saubere Kategorien, alles klickbar – und trotzdem für ChatGPT, Claude und Perplexity zur Hälfte gar nicht existieren. Der Grund ist unspektakulär: Links, die erst im Browser per JavaScript entstehen, stehen nicht in der HTML-Antwort des Servers. Und genau die ist alles, was die meisten KI-Crawler lesen.
Wie groß diese Lücke wirklich ist, hat der SEO-Ingenieur Vinicius Stanula (LOCOMOTIVE) in einem 41-tägigen Feldexperiment gemessen, veröffentlicht am 19. August 2026 bei Search Engine Land. Die Zahlen sind eindeutig – und sie betreffen deutlich mehr Websites, als man auf den ersten Blick vermutet.
1. Der 41-Tage-Test: Aufbau und Ergebnis
Der Aufbau war bewusst einfach. Eine Test-Website mit rund 1.000 Seiten wurde in 21 Hauptkategorien aufgeteilt. Elf Kategorien waren klassisch verlinkt: normale <a href>-Elemente, sichtbar im Quelltext. Die anderen zehn Kategorien erhielten ihre Links erst nachträglich per JavaScript – im Browser vollständig funktionsfähig, in der ersten Server-Antwort aber nicht vorhanden.
Über 41 Tage protokollierte das Server-Log 30.180 Anfragen von 27 verschiedenen Crawlern. Die Frage war schlicht: Wer findet welche Hälfte der Website?
Das Ergebnis teilt die Crawler-Welt in zwei Lager. Jede Seite, die per HTML verlinkt war, wurde von mindestens einem Bot entdeckt. Von den nur per JavaScript erreichbaren Seiten fanden die KI-Crawler – GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, dazu Bingbot, Metas Crawler und Amazonbot – praktisch nichts. Einzig Googlebot und GoogleOther folgten den JavaScript-Links, und selbst dort brach die Abdeckung mit zunehmender Tiefe ein.
Quelle: 41-Tage-Experiment von Vinicius Stanula, Search Engine Land, August 2026. Googlebot-Spanne abhängig von der Ebene in der Seitenhierarchie.
2. Warum KI-Crawler kein JavaScript ausführen
Ein Crawler beginnt immer gleich: Er schickt eine HTTP-Anfrage und bekommt eine HTML-Antwort. Was er damit macht, unterscheidet die Bots. Googlebot reicht die Seite an eine Rendering-Infrastruktur weiter, die den Browser nachbildet, Skripte ausführt und erst danach Links einsammelt. Das ist teuer – Google leistet sich das seit Jahren, aber auch nur mit Verzögerung und begrenztem Budget.
Die KI-Crawler tun das nach den Beobachtungen des Tests nicht. Sie lesen das rohe HTML, extrahieren Text und Links und ziehen weiter. Ein Link, der erst durch document.createElement oder ein Framework-Routing entsteht, taucht in dieser Antwort nicht auf. Für den Bot ist die Seite dann eine Sackgasse: Er sieht die Startseite, sieht aber keinen Weg zu den Unterseiten.
Der entscheidende Punkt: Ob eine Seite öffentlich erreichbar ist und ob ein Crawler sie entdecken kann, sind zwei verschiedene Dinge. Eine Produktseite kann perfekt funktionieren und trotzdem für ChatGPT nicht existieren – weil der Pfad dorthin nur im Browser entsteht.
3. Googlebot ist kein Maßstab für alle Bots
Viele Websites gelten als „technisch sauber“, weil die Search Console keine Fehler zeigt und Google die Seiten indexiert. Der Test zeigt, warum dieser Befund trügerisch sein kann: Google war der einzige Anbieter, der den JavaScript-Links überhaupt folgte. Der Großteil dieser Zugriffe kam dabei nicht vom Haupt-Crawler, sondern von GoogleOther – einem Bot, der zwar Seiten abruft, aber den Suchindex nicht aufbaut.
Selbst mit Rendering blieb Googles Abdeckung lückenhaft: Je tiefer eine Seite in der Hierarchie lag, desto seltener wurde sie gefunden. In der Spanne von 42 bis 67 Prozent fehlt also in jedem Fall ein Drittel bis mehr als die Hälfte der Inhalte. Eine Website, die in Google vollständig wirkt, kann in ChatGPT, Perplexity, Copilot oder Claude also schlicht unvollständig sein – und niemand merkt es, weil dort keine Search Console warnt.
Das passt zu dem, was Google selbst sagt: Für generative Antworten in der Suche gebe es nichts Zusätzliches zu tun, eine Seite müsse lediglich indexiert und für ein Snippet geeignet sein. Das gilt aber eben nur für Google. Andere KI-Systeme bringen ihre eigenen Crawler mit – und die haben andere Fähigkeiten.
4. Was nach der Umstellung auf HTML-Links passierte
Der spannendste Teil des Experiments kam nach den 41 Tagen. Stanula stellte die JavaScript-Kategorien auf normale HTML-Links um – ohne sonst etwas zu ändern. Innerhalb von 48 Stunden fand GPTBot 250 neue Seiten, Bingbot ergänzte 89. Google fand keine neuen Seiten, weil es die Inhalte zuvor ja bereits erreicht hatte.
Das ist der eigentliche Beleg: Es lag nicht an mangelndem Interesse der KI-Crawler, nicht an robots.txt und nicht an der Qualität der Inhalte. Sobald der Pfad im HTML stand, wurde er sofort genutzt. Die Seiten waren die ganze Zeit da – sie waren nur nicht auffindbar.
Warum „später nachrüsten“ teurer ist: Crawler lernen die Struktur einer Website über Wochen. Wer heute mit JavaScript-Navigation startet, sammelt in den KI-Systemen keine Historie zu den betroffenen Seiten – und muss nach der Umstellung erst wieder gefunden, gelesen und eingeordnet werden. Der Rückstand ist aufholbar, aber er kostet Zeit, die der Wettbewerb nicht verliert.
5. Wo KMU-Websites typischerweise betroffen sind
Das Problem klingt nach großen Konzern-Plattformen mit Single-Page-Apps. Tatsächlich begegnet es uns bei kleinen und mittleren Unternehmen regelmäßig – meist ohne dass jemand eine bewusste Entscheidung dafür getroffen hätte. Typische Stellen:
Baukasten- und Theme-Navigationen. Manche Mega-Menüs, Off-Canvas-Menüs oder „Mehr laden“-Buttons werden komplett per Skript aufgebaut. Der Quelltext enthält dann nur einen leeren Container. Produkt- und Kategorielisten in Shops. Filter, Sortierung und Pagination laufen häufig über JavaScript – die Seiten 2 bis 20 einer Kategorie existieren für KI-Crawler dann nicht. Blog-Übersichten mit Endlos-Scroll. Nur die ersten Beiträge stehen im HTML, der Rest wird nachgeladen. Standort- und Teamseiten. Kartenmodule und Karussells, deren Links erst durch das Widget entstehen. Headless-Setups und React-, Vue- oder Angular-Frontends ohne Server-Side Rendering. Hier liefert der Server oft nur eine leere Hülle und ein Skript-Bundle.
Das Muster ist immer dasselbe: Die Startseite ist im HTML sichtbar, die eigentlichen Angebotsseiten hängen an Links, die es erst im Browser gibt. Genau das sind aber die Seiten, die ein KI-System zitieren müsste, wenn ein Nutzer nach Ihrem Produkt oder Ihrer Leistung fragt.
6. So prüfen Sie Ihre Website in zehn Minuten
Schritt 1 – Quelltext statt Ansicht. Öffnen Sie eine wichtige Seite und drücken Sie Strg+U (Mac: Cmd+Option+U). Sie sehen jetzt das, was der Server ausliefert – nicht das, was der Browser daraus macht. Suchen Sie mit Strg+F nach href= und prüfen Sie, ob Ihre Hauptnavigation, die Kategorien und die Links zu den wichtigsten Unterseiten dort auftauchen. Fehlen sie, obwohl sie auf der Seite sichtbar sind, werden sie per JavaScript erzeugt.
Schritt 2 – JavaScript abschalten. Deaktivieren Sie in den Entwicklertools des Browsers JavaScript (Chrome: Strg+Shift+P, „Disable JavaScript“) und laden Sie die Seite neu. Was jetzt noch klickbar ist, ist für KI-Crawler erreichbar. Was verschwindet, ist es nicht.
Schritt 3 – Tiefe prüfen. Wiederholen Sie den Test nicht nur auf der Startseite, sondern auf einer Kategorie- und einer Detailseite. Im Experiment fiel die Abdeckung mit jeder Ebene weiter ab. Eine erreichbare Startseite sagt nichts über die Erreichbarkeit der dritten Ebene.
Schritt 4 – ins Server-Log schauen. Der endgültige Beweis steht im Access-Log: Welche Bots rufen welche URLs ab? Erscheint GPTBot nur auf der Startseite und nie auf Produktseiten, haben Sie das Problem gefunden. Wie Sie KI-Crawler im Log identifizieren, erklären wir in KI-Crawler im Server-Log erkennen.
7. Die Lösung: crawlbare Basis, JavaScript obendrauf
Die Konsequenz aus dem Test ist nicht, JavaScript zu verbannen. Moderne Frontends bringen echte Vorteile für Nutzer. Die Regel lautet vielmehr: Jede wichtige Seite braucht mindestens einen normalen HTML-Link in der ersten Server-Antwort. Alles, was JavaScript danach ergänzt – Animationen, Filter, Nachladen – bleibt erlaubt, solange es nicht der einzige Weg zum Inhalt ist.
Technisch gibt es dafür drei bewährte Wege. Server-Side Rendering (SSR): Das Framework rendert die Seite auf dem Server, der Browser bekommt fertiges HTML inklusive Links und reichert es anschließend an. Next.js, Nuxt und vergleichbare Werkzeuge bieten das von Haus aus. Statische Generierung (SSG): Die Seiten werden beim Deployment einmal als HTML erzeugt – ideal für Blogs, Leistungsseiten und Kataloge, die sich nicht sekündlich ändern. Progressive Enhancement: Die Navigation ist eine klassische HTML-Liste, JavaScript macht daraus das Mega-Menü. Fällt das Skript aus, bleibt die Liste.
Ergänzend hilft eine gepflegte XML-Sitemap als zweiter Pfad und eine HTML-Sitemap-Seite mit Links zu allen relevanten Bereichen. Beides ersetzt keine crawlbare Navigation, fängt aber Lücken ab. Und: Achten Sie darauf, dass Ihr CDN oder Ihre Firewall die gewünschten Crawler nicht zusätzlich aussperrt – das zweite große Sichtbarkeitsproblem dieses Sommers, das wir in Cloudflares neuer Standardregel für KI-Crawler beschrieben haben.
8. Was das für GEO und KI-Sichtbarkeit bedeutet
In der Diskussion um Generative Engine Optimization geht es meist um Textformate, Zitierfähigkeit und Autorität. Der Test erinnert an die Stufe davor: Ein KI-System kann nur zitieren, was sein Crawler gefunden hat. Die beste Antwortstruktur nützt nichts, wenn die Seite in der Discovery-Phase durchfällt. Wir haben das an anderer Stelle grundsätzlich beschrieben – GEO ohne technisches SEO bleibt Textarbeit ohne Wirkung – und die Zahlen dieses Experiments sind der bislang deutlichste Beleg dafür.
Das Ergebnis ordnet auch die Prioritäten neu. Viele Unternehmen investieren in eine llms.txt, in Schema-Markup oder in FAQ-Blöcke, während ihre Produktseiten für GPTBot gar nicht erreichbar sind. Die Reihenfolge muss umgekehrt sein: erst die Erreichbarkeit im rohen HTML sichern, dann die Inhalte für Zitate optimieren. Wer wissen will, wo die eigene Website heute steht, kann mit dem KI-Sichtbarkeits-Score starten – die Crawlbarkeit ist dort eines der Kriterien.
Und noch ein Aspekt: Crawlbarkeit wird damit auch zur bewussten Entscheidung. Es gibt gute Gründe, bestimmte Inhalte von KI-Systemen fernzuhalten. Der Unterschied zwischen einer gewollten Sperre und einer versehentlichen JavaScript-Sackgasse ist aber, dass Sie die eine steuern – und die andere nicht einmal bemerken.
9. Fazit: Sichtbarkeit beginnt im Quelltext
Das 41-Tage-Experiment liefert eine seltene Klarheit: null gefundene Seiten bei allen KI-Crawlern, eine Teilabdeckung bei Google, und 250 neue Seiten bei GPTBot binnen zwei Tagen, sobald die Links im HTML standen. Das Problem ist real, es ist häufig, und es ist lösbar – meist ohne Redesign, oft mit einer Änderung an Navigation oder Rendering.
Für kleine und mittlere Unternehmen heißt das: Prüfen Sie den Quelltext, nicht die Browseransicht. Nehmen Sie Googlebot nicht als Beleg für alle anderen Bots. Und sorgen Sie dafür, dass jede Seite, mit der Sie in KI-Antworten auftauchen wollen, einen ganz gewöhnlichen HTML-Link hat.
Unsere Einschätzung: Die Discovery-Lücke durch JavaScript-Links ist derzeit eine der am meisten unterschätzten Ursachen für fehlende KI-Sichtbarkeit – gerade weil sie in Google nicht auffällt. Wer sie schließt, holt Sichtbarkeit zurück, die längst hätte da sein können.
Lesen Sie auch: KI-Crawler im Server-Log erkennen und llms.txt wird kaum gelesen – was stattdessen zählt. Oder lassen Sie Ihre Website direkt prüfen: KI-Sichtbarkeit & GEO bei Grünberg.Digital.
10. FAQ: JavaScript-Links und KI-Crawler
Warum finden KI-Crawler Seiten nicht, die per JavaScript verlinkt sind?
GPTBot, ClaudeBot, PerplexityBot und die meisten anderen KI-Crawler laden nur die HTML-Antwort des Servers und führen kein JavaScript aus. Ein Link, der erst im Browser per Skript in die Seite geschrieben wird, existiert für diese Bots nicht. Sie haben schlicht keinen Pfad, dem sie folgen könnten – auch wenn die Seite für Menschen einwandfrei erreichbar ist.
Googlebot kann doch JavaScript – reicht das nicht?
Nein. Im 41-Tage-Test erreichten Googlebot und GoogleOther die per JavaScript verlinkten Seiten zwar, aber nur zu 42 bis 67 Prozent, abhängig von der Tiefe in der Seitenstruktur. Alle anderen beobachteten Crawler fanden keine einzige dieser Seiten. Wer Googlebot als Maßstab für alle Bots nimmt, übersieht die Lücke bei ChatGPT, Claude, Perplexity und Bing.
Wie prüfe ich, ob meine Website betroffen ist?
Rufen Sie den Quelltext einer Seite auf (Strg+U im Browser) oder laden Sie die Seite mit einem Werkzeug wie curl. Suchen Sie darin nach den wichtigen internen Links als normale a-href-Elemente. Fehlen Navigation, Kategorie- oder Produktlinks im Quelltext und erscheinen erst in der gerenderten Ansicht, werden sie per JavaScript erzeugt. Ergänzend zeigt das Server-Log, welche Bots welche Seiten tatsächlich abrufen.
Muss ich JavaScript von meiner Website entfernen?
Nein. Entscheidend ist eine crawlbare Basis: Jede wichtige Seite braucht mindestens einen normalen HTML-Link in der ersten Server-Antwort. Server-Side Rendering, statische Generierung oder einfach eine klassische HTML-Navigation liefern das. JavaScript darf die Seite anschließend weiter anreichern – es darf nur nicht der einzige Weg zu den Inhalten sein.
