Die Suche im Internet verändert sich rasant. Immer mehr Menschen stellen ihre Fragen nicht nur bei Google, sondern direkt an KI-Systeme wie ChatGPT, Claude oder Perplexity. Diese sogenannten Large Language Models (LLMs) greifen dabei auf riesige Datenmengen zurück – und dazu gehören auch Inhalte von Websites wie deiner.
Damit deine Inhalte nicht untergehen, sondern auch in der Welt der KI-Suche sichtbar bleiben, gibt es seit kurzem ein neues Format: die llms.txt. Sie funktioniert ähnlich wie die bekannte robots.txt, ist aber speziell dafür gedacht, KI-Systemen Orientierung zu geben, welche Inhalte einer Website besonders wichtig und freigegeben sind.
Wer unterstützt llms.txt bisher?
Noch steckt der Standard in den Kinderschuhen. Offiziell ausgewertet wird llms.txt bislang nur von Anthropic (dem Unternehmen hinter Claude). Aber auch im WordPress-Ökosystem hat sich viel getan: Die beiden grossen SEO-Plugins Yoast und RankMath haben die Unterstützung bereits eingebaut. Wenn du eines dieser Plugins nutzt, kannst du die Datei relativ einfach aktivieren.
Google selbst setzt weiterhin auf die klassische robots.txt, die auch in Zukunft die zentrale Steuerungsdatei für Suchmaschinen bleiben wird. Deshalb ist es wichtig, beide Ansätze im Blick zu haben: robots.txt für Suchmaschinen, llms.txt für die wachsende Zahl an LLM-Crawlern.
Cloudflare, KI-Crawler und «Pay-Per-Crawl»
Wenn deine Website über Cloudflare läuft, gibt es mehrere Besonderheiten zu beachten:
- Cloudflare blockiert bekannte KI‑Crawler wie GPTBot oder ClaudeBot mittlerweile standardmässig, es sei denn, du gibst explizit grünes Licht. Damit schützt Cloudflare – als eines der grössten Internet-Infrastrukturanbieter – Inhalte vor unerwünschtem Zugriff.
- Zusätzlich hat Cloudflare das neue Feature Pay‑Per‑Crawl (Beta) eingeführt: damit kannst du AI-Crawlern gegen Zahlung Zugang zu bestimmten Inhalten gewähren – über einen technischen Mechanismus mit HTTP‑Headern und dem Statuscode 402 Payment Required. Das bedeutet: Du kannst auswählen, ob bestimmte Crawler, z. B. solche von KI-Anbietern, Zugriff erhalten – kostenfrei oder gegen eine Gebühr.
Diese Entwicklungen machen deutlich: Wenn du llms.txt einführst, solltest du gleichzeitig deine Cloudflare-Konfiguration prüfen, damit die gewünschten Bots nicht versehentlich blockiert oder falsch gesteuert werden.
Dein Vorteil: Sichtbarkeit in Suchmaschinen und KI-Systemen
Jetzt kommt der spannende Teil: Wenn du deine Website auf llms.txt vorbereitest, gewinnst du einen klaren Vorsprung. Denn auch wenn heute erst wenige Anbieter die Datei wirklich nutzen, spricht viel dafür, dass sich in den kommenden Jahren ein Standard etabliert. Wer jetzt handelt, zeigt nicht nur Weitsicht, sondern bleibt in beiden Welten sichtbar: bei Google und in KI-Systemen.
Wir helfen dir gerne dabei:
- llms.txt einrichten (über Yoast oder Rank Math)
- robots.txt überprüfen und optimieren
- Cloudflare-Settings korrekt einstellen
- SEO-Basismassnahmen sicherstellen
Warum sich der Aufwand lohnt
Die llms.txt ersetzt keine bewährten SEO-Massnahmen – sie ergänzt sie. Mit einer sauberen robots.txt, einer aktuellen Sitemap, strukturierten Daten und hochwertigen Inhalten stellst du sicher, dass Google deine Seite richtig versteht. Mit einer llms.txt gibst du zusätzlich den LLMs klare Hinweise, welche Inhalte hochwertig und freigegeben sind.
So bleibst du nicht nur im klassischen Suchmaschinenranking sichtbar, sondern wirst auch Teil der Antworten, die KI-Systeme immer häufiger liefern.
Fazit
Die llms.txt ist ein spannender neuer Baustein in der SEO-Strategie. Sie ersetzt nichts, aber sie ergänzt entscheidend. Für dich als Website-Betreiber bedeutet das: Denk deine SEO in zwei Richtungen – Suchmaschinen und KI.
Wir von Openstream unterstützen dich dabei gerne:
- llms.txt einrichten
- robots.txt überprüfen
- SEO-Basismassnahmen optimieren
Credits
- Beitragsbild von Maxim Ilyahov
- Introducing pay per crawl: Enabling content owners to charge AI crawlers for access
Schreibe einen Kommentar