Die wichtigsten KI-Crawler im Überblick

CrawlerAnbieterWofür
GPTBotOpenAISammeln von Inhalten für das Training von Modellen
OAI-SearchBotOpenAISuchfunktion in ChatGPT
ChatGPT-UserOpenAIAbruf, wenn ein Nutzer in ChatGPT eine Seite öffnen lässt
ClaudeBotAnthropicSammeln von Inhalten für das Training
Claude-SearchBotAnthropicSuche für Antworten von Claude
Claude-UserAnthropicAbruf auf Anfrage eines Nutzers
PerplexityBotPerplexityAufbau des Suchindex von Perplexity
Perplexity-UserPerplexityAbruf auf Anfrage eines Nutzers
Google-ExtendedGoogleSteuert, ob Inhalte für Gemini-Modelle genutzt werden. Kein Einfluss auf das Ranking in der Google-Suche

Training oder Suche: Der wichtige Unterschied

Manche Crawler sammeln Inhalte für das Training von Modellen, andere rufen Seiten ab, um eine konkrete Antwort zu belegen. Für Ihre Sichtbarkeit sind vor allem die Such- und Nutzer-Crawler relevant, weil sie bestimmen, ob Ihre Seite in einer Antwort als Quelle auftauchen kann. Ob Sie das Training zulassen, ist eine eigene Entscheidung. Wie sich ein Blockieren der Training-Crawler auf Ihre Nennung auswirkt, ist bisher nicht belastbar untersucht.

Beispiel: Alle KI-Crawler zulassen

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://ihre-domain.de/sitemap.xml

Wenn Sie das Training nicht möchten, sperren Sie gezielt GPTBot, ClaudeBot und Google-Extended mit einem eigenen Abschnitt und der Anweisung „Disallow: /“. Sperren Sie niemals Googlebot, sonst verschwinden Sie aus der Google-Suche.

Was die robots.txt nicht kann

  • Sie ist eine Bitte, keine technische Sperre. Seriöse Crawler halten sich daran, andere nicht zwingend.
  • Sie sagt nichts darüber, ob Ihre Inhalte lesbar sind. Texte, die erst per JavaScript nachgeladen werden, sehen laut der Vercel-und-MERJ-Studie (Dezember 2024) die Crawler von OpenAI, Anthropic und Perplexity nicht. Gemini und Apple können es.
  • Sicherheits-Plugins, Firewalls und Content-Delivery-Netzwerke können Crawler zusätzlich blockieren, auch wenn die robots.txt sie erlaubt.

So prüfen Sie Ihre Einstellung

  1. robots.txt öffnen

    Rufen Sie ihre-domain.de/robots.txt im Browser auf und suchen Sie nach den oben genannten Namen und nach „Disallow: /“ unter „User-agent: *“.

  2. Inhalt im Quelltext prüfen

    Öffnen Sie „Seitenquelltext anzeigen“ und prüfen Sie, ob Ihre Überschriften und Texte dort stehen.

  3. Firewall und Plugins prüfen

    Sehen Sie in den Einstellungen Ihres Sicherheits-Plugins oder Hosters nach, ob automatisierte Zugriffe (Bots) pauschal gesperrt werden.

Häufige Fragen

Soll ich GPTBot sperren?

Das ist eine Abwägung. Sperren Sie ihn, wird Ihr Inhalt nicht für das Training verwendet. Ob das Ihre Nennung in Antworten beeinflusst, ist nicht belastbar belegt. Wichtiger für die Sichtbarkeit sind die Such-Crawler.

Beeinflusst die robots.txt mein Google-Ranking?

Nur, wenn Sie Googlebot sperren. Die Regeln für KI-Crawler wie GPTBot oder ClaudeBot haben darauf keinen Einfluss. Google-Extended betrifft nur die Nutzung für Gemini-Modelle.

Wie lange dauert es, bis Änderungen wirken?

Crawler lesen die robots.txt in unterschiedlichen Abständen. Rechnen Sie mit Tagen bis wenigen Wochen.

Quellen