Kurz zusammengefasst: KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot führen kein JavaScript aus – sie lesen nur das rohe HTML deiner Seite. Wer Inhalte clientseitig rendert, langsam lädt oder Crawler in 404-Seiten laufen lässt, ist für ChatGPT und Perplexity unsichtbar. Die Technik entscheidet vor dem Inhalt.
Das Wichtigste in Kürze
Er lädt dein HTML und liest, was direkt darin steht. Mehr nicht. Eine Analyse von über einer halben Milliarde GPTBot-Zugriffen fand null Belege für JavaScript-Ausführung (Vercel, 2025). GPTBot verarbeitet dabei rund 569 Millionen Anfragen pro Monat, ClaudeBot rund 370 Millionen. Beide holen deine Seite, nehmen den Rohtext und gehen wieder.
Der Unterschied zu Google ist entscheidend. Googlebot rendert Seiten in einem echten Browser und wartet, bis JavaScript fertig geladen hat. KI-Crawler tun das nicht. Sie sehen die erste HTML-Antwort deines Servers, so wie sie ankommt. Was danach im Browser passiert, bleibt für sie unsichtbar.
Interessant ist, wie widersprüchlich die Crawler mit JavaScript umgehen: GPTBot lädt JavaScript-Dateien in 11,5 % seiner Zugriffe herunter, ClaudeBot sogar in 23,84 %, doch keiner führt sie aus (Vercel, 2025). Sie holen also den Code, ignorieren aber, was er erzeugt. Für dich heißt das: Alles, was erst durch dieses JavaScript sichtbar wird, existiert für die KI nicht.
Wenn deine Website als Single-Page-Application gebaut ist und Inhalte per JavaScript nachlädt, ist sie für KI-Crawler weitgehend leer. Das betrifft viele moderne Frameworks in ihrer Standardkonfiguration. Der Inhalt ist da, ein Mensch sieht ihn im Browser, aber die erste HTML-Antwort an den Crawler enthält oft nur ein leeres Gerüst.
Das erzeugt eine paradoxe Lage. Dieselbe Seite kann bei Google top ranken und in ChatGPT komplett fehlen. Google rendert das JavaScript und belohnt die Seite, die KI sieht nichts. Wer nur auf klassisches SEO optimiert hat, merkt diese Lücke oft gar nicht, weil die Google-Zahlen weiter stimmen.
Die Lösung ist technisch klar: Server-Side Rendering, statische Generierung oder Prerendering. Dein Content muss in der ersten HTML-Antwort stehen, nicht erst danach entstehen. Genau hier lohnt der Blick auf die technische Basis deiner Seite. Wie stark saubere Technik auf die Ladezeit einzahlt, zeigt unser Leitfaden zur Webflow Page Speed Optimierung.
Was das in der Praxis bedeutet, haben wir bei Tangiblee gesehen, einem SaaS-Unternehmen für E-Commerce-Technologie mit über 100 Mitarbeitern. Beim kompletten Rebuild der Website haben wir die mobile Ladezeit um 260 % beschleunigt und die Code-Ladezeit um 277 % reduziert, unter anderem durch klare CSS-Konventionen und weniger Render-Ballast. Solche Eingriffe wirken doppelt: Sie verbessern die Nutzererfahrung und machen die Seite für Maschinen leichter erfassbar.
Eine große Rolle, aber anders als du denkst. KI-Crawler haben kein unendliches Zeitbudget für deine Seite. Wenn sie auf Fehler und Umwege stoßen, verbrennen sie ihre Zugriffe an der falschen Stelle. GPTBot verbringt 34,82 % seiner Zugriffe auf 404-Seiten, ClaudeBot 34,16 % (Vercel, 2025). Ein Drittel des Crawl-Budgets läuft also ins Leere.
Für dich ist das ein direkter Hebel. Tote Links, kaputte Weiterleitungen und verwaiste URLs kosten dich Aufmerksamkeit, die eigentlich deinen guten Inhalten gelten sollte. Je sauberer deine Seitenstruktur, desto mehr von deinem wertvollen Content erreicht der Crawler tatsächlich.
Und die Menge an Crawling wächst rasant. Der GPTBot-Anteil am KI-Crawler-Traffic ist innerhalb eines Jahres von 5 % auf 30 % gestiegen (Cloudflare, 2025). Diese Systeme kommen häufiger vorbei, aber sie sind ungeduldig. Eine schnelle, fehlerfreie Website entscheidet heute mit darüber, ob eine KI deine Inhalte überhaupt vollständig aufnimmt. Ladezeit wirkt damit direkt auf deine Sichtbarkeit ein und nicht mehr nur auf den Nutzerkomfort.
Bewusst, denn die meisten tun es gar nicht. Nur 14 % der größten 10.000 Domains sprechen KI-Bots überhaupt gezielt in ihrer robots.txt an (Cloudflare, 2025). Die erste Entscheidung ist grundsätzlich: Willst du von KI-Systemen gelesen werden oder nicht? Für die meisten B2B-Unternehmen, die als Anbieter gefunden werden wollen, lautet die Antwort klar ja.
Wenn du gefunden werden willst, prüfe zuerst, dass du die relevanten Crawler nicht versehentlich blockierst. Dazu gehören GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic sowie PerplexityBot. Viele Seiten sperren diese Bots aus alten Datenschutz-Reflexen aus und wundern sich später über fehlende Sichtbarkeit.
Ein Blick auf das Verhältnis von Crawling zu tatsächlichem Nutzen erklärt, warum sich saubere Steuerung lohnt: Anthropic crawlte im Juli 2025 rund 38.065 Seiten pro einzelnem zurückgeschicktem Besucher (Cloudflare, 2025). KI-Crawler nehmen also sehr viel und geben vergleichsweise wenig direkten Traffic zurück. Umso wichtiger ist, dass jeder Zugriff auf deine besten, zitierfähigen Inhalte trifft und nicht auf Ballast.
Ergänzend etabliert sich die Datei llms.txt als eine Art Landkarte für KI-Systeme. Sie liegt im Wurzelverzeichnis deiner Domain und verweist strukturiert auf deine wichtigsten Inhalte. Der Standard ist jung und noch nicht von allen Anbietern offiziell bestätigt, aber der Aufwand ist gering und das Signal klar. Wir haben llms.txt für webnique.de eingerichtet, weil es die eigene Inhaltsstruktur maschinenlesbar bündelt.
Eine, die eine Maschine ohne Interpretation auslesen kann. Sobald der Crawler dein HTML sauber erreicht, entscheidet die Struktur über die Zitierbarkeit. Die Forschung ist hier eindeutig: Eingebaute Statistiken erhöhen die Sichtbarkeit in generativen Antworten um 32,8 %, das Zitieren benannter Quellen um 27,6 % (Princeton et al., GEO-Paper, KDD 2024). Struktur und Belege schlagen Keyword-Dichte deutlich.
Praktisch heißt das: semantisches HTML mit klaren Überschriften, kurze Absätze mit einer Aussage, Tabellen für Vergleiche und ein FAQ-Bereich mit Schema-Markup. Diese Elemente stehen direkt im HTML und sind damit genau das, was ein nicht-rendernder Crawler zuverlässig verarbeiten kann. Strukturierte Daten wirken hier wie eine Übersetzungshilfe für die Maschine.
Der inhaltliche Teil, also wie du Antwort-zuerst schreibst und Inhalte für Zitate aufbereitest, ist ein eigenes Thema. Wir haben es ausführlich in unserem Leitfaden zur KI-Suchoptimierung für B2B-Unternehmen behandelt. Wichtig ist die Reihenfolge: Erst muss die Technik den Crawler durchlassen, dann entscheidet der Inhalt über das Zitat.
Bevor du in Inhalte investierst, prüfe die technische Basis. Diese fünf Punkte machen in der Praxis den größten Unterschied, ob KI-Modelle deine Website vollständig lesen können.
Wie viel diese Grundlagenarbeit trägt, kennen wir aus dem klassischen Suchgeschäft. Bei einem Münchner Consulting-Unternehmen mit rund 30 Mitarbeitern (BelForm) stiegen über eine strukturierte Content- und Keyword-Strategie die Seitenaufrufe um 400 % und die Leads um 220 % innerhalb von anderthalb Jahren. Dieselbe Disziplin, saubere Technik und klare Struktur, ist heute die Basis dafür, in KI-Antworten überhaupt aufzutauchen. Wo du gerade stehst, zeigt dir unser KI-Readiness Check für B2B-Websites.
KI-Sichtbarkeit beginnt beim HTML, lange bevor der Text zählt. Wenn dein Content erst per JavaScript entsteht, deine Seite langsam lädt oder Crawler in 404-Seiten laufen, verlierst du Sichtbarkeit, bevor der Inhalt überhaupt zählt. Die gute Nachricht: Genau diese technischen Hebel sind kontrollierbar. Server-seitiges Rendering, saubere Seitenstruktur, freigegebene Crawler und maschinenlesbares HTML sind das Fundament, auf dem jede inhaltliche KI-Optimierung erst aufsetzt. Wer die Technik ignoriert, optimiert Inhalte für eine Maschine, die sie nie zu Gesicht bekommt. Der nächste sinnvolle Schritt: prüfen, was ein KI-Crawler heute von deiner Website tatsächlich sieht, und die Lücken schließen. Konkrete Ansatzpunkte findest du im Guide dazu, wie du deine Website für KI-Ergebnisse optimierst.
Nein. Eine Analyse von über 500 Millionen GPTBot-Zugriffen fand null JavaScript-Ausführung, und das gilt auch für ClaudeBot und PerplexityBot (Vercel, 2025). Die einzige nennenswerte Ausnahme ist Googles Gemini, das die Rendering-Infrastruktur von Googlebot nutzt. Für alle anderen zählt nur das rohe HTML.
Nicht mehr. Google rendert JavaScript, KI-Crawler nicht. Deshalb kann dieselbe Seite bei Google top ranken und in ChatGPT fehlen. Nur noch 38 % der in KI-Antworten zitierten Seiten stehen auch in den organischen Top 10 (Ahrefs, 2026). Gutes Ranking und KI-Sichtbarkeit fallen zunehmend auseinander.
Wenn du als Anbieter gefunden werden willst, solltest du sie zulassen. Nur 14 % der größten Domains steuern KI-Bots gezielt in der robots.txt (Cloudflare, 2025). Viele B2B-Seiten blockieren aus alten Reflexen und verlieren so Sichtbarkeit. Prüfe gezielt, dass GPTBot, ClaudeBot und PerplexityBot Zugriff haben.
Sehr wichtig. KI-Crawler haben ein begrenztes Zeitbudget und verbringen bereits rund ein Drittel ihrer Zugriffe auf Fehlerseiten (Vercel, 2025). Eine schnelle, fehlerfreie Seite sorgt dafür, dass mehr von deinen relevanten Inhalten tatsächlich erfasst wird, statt dass Budget an 404-Seiten verloren geht.
