Zum Inhalt springen

Technische Bereitschaft

Blockiert Ihre Website KI-Crawler? Ein Check in 10 Minuten

Eine Website kann KI-Crawler in der robots.txt, in den Bot-Einstellungen des CDN oder in einer Firewall blockieren, oft ohne dass es jemand entschieden hat. Drei Prüfungen, die 10 Minuten dauern.

Von Veröffentlicht am 16 Min. Lesezeit 10 zitierte Quellen

Mit KI zusammenfassen

Wenig Zeit? Öffnen Sie diesen Artikel mit einem fertigen Prompt in Ihrem KI-Assistenten.

Claude und Gemini öffnen sich mit kopiertem Prompt: Fügen Sie ihn ein, um zu starten.

Drei Tore in einer Reihe mit den Beschriftungen robots.txt, CDN und Firewall, ein Such-Crawler passiert die ersten beiden und wird am dritten gestoppt, daneben ein 10-Minuten-Timer
Auf dieser Seite

Kurze Antwort

Kurz gesagt: KI-Crawler können an drei Stellen blockiert werden: in der robots.txt-Datei, in den Bot-Einstellungen des CDN und in der Server-Firewall oder einem Sicherheits-Plugin, und die meisten Betreiber prüfen nur die erste. Die Einstellungen hat oft ein Hoster oder eine Standardvorgabe gewählt, nicht Sie: Cloudflare gibt einer neuen Domain heute eine von zwei Voreinstellungen, je nachdem, ob sie Werbung zeigt, und hat im September 2026 jede alte Domain mit „Block AI Bots“ auf neue Regeln umgestellt,1 und Googles eigener Rat für das Erscheinen in KI-Funktionen lautet, sicherzustellen, dass „das Crawling in der robots.txt und von jeder CDN- oder Hosting-Infrastruktur erlaubt ist“.2 Jedes KI-Unternehmen betreibt getrennte Crawler für Training, Suche und Nutzeranfragen, jeder mit eigenem Schalter,3 der Check bestätigt also, dass die Crawler, die darüber entscheiden, ob Sie zitiert werden, nicht in einer Regel hängen bleiben, die für etwas anderes gedacht war. Die drei Schritte unten dauern etwa zehn Minuten.

Sie lesen, dass KI-Assistenten Besucher schicken, Sie prüfen nach, und Ihre Website taucht nie auf. Die robots.txt sieht harmlos aus, also lautet das Fazit: „Unsere Inhalte sind nicht gut genug.“

Oft ist der Crawler nie hineingekommen. Ein CDN-Schalter, der bei der Anmeldung gewählt wurde, ein Sicherheits-Plugin, das „bad bots“ nach User-Agent blockiert, oder ein Rate-Limit, das auf alles mit 403 antwortet, was schnell abruft, kann die Such-Crawler von ChatGPT, Claude, Perplexity und Google aussperren, ohne eine einzige Zeile in der robots.txt.

Dieser Leitfaden behandelt nur den Zugang. Ob der Crawler lesen kann, was er findet (JavaScript, noindex, Weiterleitungen), ist Thema des technischen Checks in 10 Minuten.

Wo kann eine Website KI-Crawler blockieren?

In drei Schichten, und ein Crawler muss alle drei passieren. Die erste ist eine Empfehlung, die anderen beiden werden durchgesetzt.

SchichtWas sie tutWer sie meist eingerichtet hatWie ein blockierter Crawler sie erlebt
robots.txtBittet Crawler, Pfade oder die ganze Website zu meidenEntwickler, SEO-Plugin oder das CDN in Ihrem NamenLiest die Regel und geht (wenn er sich daran hält)
CDN-Bot-Einstellungen (Cloudflare, Vercel und andere)Blockiert oder prüft Anfragen nach Bot-Kategorie, bevor sie Ihren Server erreichenWer DNS eingerichtet hat, oder eine Standardvorgabe bei der Anmeldung403, eine Challenge-Seite oder eine abgebrochene Verbindung
Firewall, WAF, Sicherheits-Plugin, Rate-LimitsBlockiert auf dem Server nach User-Agent, IP-Bereich oder AnfragetempoHosting-Anbieter oder ein Sicherheits-Plugin403, 401, 429 oder ein Timeout
Wischen Sie die Tabelle seitlich, um alle Spalten zu sehen.

Die erste Schicht ist absichtlich freiwillig. Crawler, die eine Seite abrufen, weil eine Person darum gebeten hat, sagen das in ihrer eigenen Dokumentation: OpenAI merkt zu ChatGPT-User an: „Da diese Aktionen von einem Nutzer ausgelöst werden, gelten robots.txt-Regeln möglicherweise nicht“,3 und Perplexity sagt über Perplexity-User: „Da ein Nutzer den Abruf angefordert hat, ignoriert dieser Fetcher robots.txt-Regeln in der Regel.“4 Die zweite und die dritte Schicht sind die Stellen, an denen Websites unbeabsichtigt blockieren, weil die Regeln dort für „Bots“ im Allgemeinen geschrieben sind.

Was die robots.txt sagt und was der Server tut, sind zwei verschiedene Dinge, in beide Richtungen. Der Check muss beides abdecken.

Welche KI-Crawler entscheiden, ob Sie zitiert werden?

Die Such- und Nutzer-Crawler, nicht die Trainings-Crawler. Jedes große KI-Unternehmen teilt seinen Traffic in getrennte User-Agents auf, und jeder hat seine eigene Einstellung.

UnternehmenTrainings-CrawlerSuch- oder Index-CrawlerNutzergesteuerter FetcherWas die Dokumentation sagt
OpenAIGPTBotOAI-SearchBotChatGPT-User„Jede Einstellung ist unabhängig von den anderen“; Websites, die OAI-SearchBot ausgeschlossen haben, „werden in den Antworten der ChatGPT-Suche nicht angezeigt“3
AnthropicClaudeBotClaude-SearchBotClaude-UserDas Deaktivieren von Claude-SearchBot „kann die Sichtbarkeit und Genauigkeit Ihrer Website in den Suchergebnissen der Nutzer verringern“6
PerplexityKeiner aufgeführt; PerplexityBot „wird nicht verwendet, um Inhalte für KI-Basismodelle zu crawlen“PerplexityBotPerplexity-UserEmpfiehlt, PerplexityBot und seine veröffentlichten IP-Bereiche zuzulassen4
GoogleGoogle-Extended (nur ein robots.txt-Token)GooglebotHier nicht behandeltDie robots.txt-Regeln für Googlebot sind „die Steuerung“ für AI Overviews und AI Mode2; Google-Extended „hat keinen Einfluss auf die Aufnahme einer Website in die Google-Suche“7
Wischen Sie die Tabelle seitlich, um alle Spalten zu sehen.

Zwei Details sind für den Check wichtig. Erstens kann eine Website, die OAI-SearchBot ausschließt, „weiterhin als Navigationslink erscheinen“, aber nicht in Suchantworten,3 eine Sperre für den falschen Bot sieht in Ihren Logs also nicht wie eine Sperre aus: Der Traffic kommt einfach nie. Zweitens hat Google-Extended „keinen eigenen User-Agent-String für HTTP-Anfragen“; „das robots.txt-User-Agent-Token wird zur Steuerung verwendet“.7 Eine Firewall-Regel kann es nie treffen, und eine robots.txt-Regel dafür ändert nichts an der Suche: Sie steuert nur, ob Google Ihre Seiten für das Training und das Grounding seiner Gemini-Modelle verwendet.7

Trainings-Crawler zu blockieren ist eine legitime Entscheidung. Der Fehler ist eine Regel, die für GPTBot oder „KI-Bots“ geschrieben wurde und stillschweigend OAI-SearchBot, Claude-SearchBot und PerplexityBot mit erfasst.

Schritt 1: Was steht wirklich in Ihrer robots.txt? (3 Minuten)

Öffnen Sie yourdomain.com/robots.txt im Browser und rufen Sie die Datei dann über die Kommandozeile ab, um den Statuscode zu sehen, den ein Crawler bekommt:

curl -s -o /dev/null -w "%{http_code}\n" https://yourdomain.com/robots.txt
curl -s https://yourdomain.com/robots.txt

Achten Sie auf vier Dinge.

1. Pauschale Regeln

User-agent: * gefolgt von Disallow: / blockiert jeden Crawler, der sich daran hält, Suchmaschinen eingeschlossen. Ein Disallow: / unter einem benannten KI-Bot blockiert nur diesen Bot. Lesen Sie jeden User-agent-Block: Eine Regel für GPTBot ist in Ordnung, wenn Sie sie so wollten, eine Regel für OAI-SearchBot oder PerplexityBot bedeutet, dass Sie darauf verzichtet haben, zitiert zu werden.

2. Zeilen, die Sie nicht geschrieben haben

Ihr CDN kann dieser Datei etwas hinzufügen und etwas daraus entfernen. HasData fand im Juli 2026 in der archivierten robots.txt von 118 Websites hinter Cloudflare eine KI-Opt-out-Anweisung und am 16. September 2026 auf keiner dieser Websites mehr; unter den Websites hinter Cloudflare fiel der Anteil, der GPTBot ausschließt, zwischen den beiden Momentaufnahmen von 17.1% auf 9.9%, während Websites ohne Cloudflare von 18.7% auf 18.6% gingen.5 Wenn eine Zeile erscheint oder verschwindet, die Sie nie bearbeitet haben, liegt die Einstellung, die sie erzeugt, im CDN-Dashboard, nicht in der Datei.

3. Der Statuscode

Google behandelt „alle 4xx-Fehler außer 429 so, als gäbe es keine gültige robots.txt-Datei“, eine fehlende Datei bedeutet also keine Einschränkungen.8 Ein 5xx ist das Gegenteil: „In den ersten 12 Stunden stellt Google das Crawling der Website ein, versucht aber weiter, die robots.txt-Datei abzurufen“, danach wird die letzte funktionierende Version bis zu 30 Tage lang verwendet.8 Eine robots.txt, die wegen einer Firewall-Regel in ein Timeout läuft oder einen Serverfehler zurückgibt, ist ein Crawl-Stopp für die ganze Website, und im Browser sieht sie wie eine normale Datei aus.

4. Wie lange eine Änderung dauert

Google „speichert den Inhalt der robots.txt-Datei in der Regel bis zu 24 Stunden im Cache“.8 OpenAI sagt, für die Suche könne es „~24 Stunden nach der Aktualisierung der robots.txt einer Website dauern, bis sich unsere Systeme anpassen“,3 und Perplexity sagt, Änderungen könnten „bis zu 24 Stunden“ brauchen, bis sie wirksam werden.4 Korrigieren Sie die Datei und warten Sie dann einen Tag, bevor Sie das Ergebnis beurteilen.

Schritt 2: Was hat Ihr CDN für Sie entschieden? (3 Minuten)

Öffnen Sie den Bereich für Bots oder KI-Crawler in Ihrem CDN-Dashboard und lesen Sie den aktuellen Stand jeder Kategorie. Hier wurde am wahrscheinlichsten eine Entscheidung ohne Sie getroffen.

Cloudflare

Cloudflare hat seinen Ein-Klick-Schalter „Block AI Bots“ (KI-Bots blockieren) durch drei Richtlinien ersetzt: „Search - Crawling zum Aufbau eines Suchindex“, „Training - Crawling zum Trainieren oder Feinabstimmen eines Modells“ und „Agent - nutzergesteuerte Agenten, die eine Seite im Auftrag eines Menschen besuchen“.1 Seit dem 15. September 2026 wird einer neuen Domain eine von zwei Voreinstellungen angeboten. Eine Website, die „nicht mit Werbung monetarisiert“, bekommt Search, Training und Agent alle auf Allow (Erlauben); eine Website, die „mit Werbung monetarisiert wird“, bekommt Search auf Allow, Training auf „Disallow AI Training“ (KI-Training untersagen) und Agent auf „Block on pages with ads“ (auf Seiten mit Werbung blockieren).1

Bestehende Kunden wurden umgestellt. Eine Domain, die die feineren Steuerungen nie angefasst hatte und bei der der alte Schalter „Block AI Bots“ eingeschaltet war, steht jetzt auf Search Allow, Training Disallow AI Training und Agent Block on pages with ads.1 Das ist eine gute Nachricht für alle, die den Schalter 2025 eingeschaltet und sich später gefragt haben, warum ChatGPT sie nicht mehr zitiert: Das Such-Crawling ist wieder erlaubt. Lesen Sie die Zeile Search aber selbst, denn „Block und Block on pages with ads gelten jetzt auch für Crawler mit gemischter Nutzung, darunter Applebot, Bingbot und Googlebot“, sodass „beide Einstellungen die Suche ebenso betreffen wie das Training“.1 Ein Block bei Search versteckt Sie auch vor Google. Um die Suche zu behalten und das Training zu stoppen, heißt die Einstellung Disallow AI Training: „Unter Disallow AI Training können sie Ihre Website weiterhin für die Suche crawlen.“1

Vercel

Vercels AI Bots Managed Ruleset ist „standardmäßig inaktiv“, wird als Allow angezeigt und lässt Sie „die Kategorien AI Crawlers oder AI Assistants unabhängig voneinander blockieren“.9 Die Kategorien sind präzise: „AI Crawlers: Bots, die Inhalte für das Training crawlen und sammeln“ und „AI Assistants: Bots, die Seiten als Reaktion auf Nutzeraktionen abrufen oder für Suchanfragen verwenden“.9 Deny (Verweigern) bei AI Assistants „blockiert sämtlichen Traffic, der als von KI-Bots dieser Kategorie stammend erkannt wird“,9 und das ist der Such-Traffic, den Sie wollen. Deny nur bei AI Crawlers ist das Opt-out allein für das Training.

Andere CDNs und Hoster

Überall gelten dieselben zwei Fragen: Gibt es eine Bot-Kategorie, die Such- oder Assistenten-Crawler abdeckt, und welche Aktion ist dafür eingestellt? Wenn das Dashboard nur „KI-Bots blockieren“ als einen einzigen Schalter anbietet, gehen Sie davon aus, dass er auch Such-Crawler blockiert, bis die Dokumentation des Anbieters etwas anderes sagt.

Schritt 3: Lässt Ihre Firewall den Crawler durch? (3 Minuten)

Rufen Sie Ihre Startseite zweimal ab: einmal als Browser, einmal mit dem echten User-Agent eines KI-Crawlers, und vergleichen Sie die Statuscodes.

curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" https://yourdomain.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://yourdomain.com/

Der zweite String ist der veröffentlichte User-Agent von OAI-SearchBot;3 wiederholen Sie den Test mit PerplexityBot/1.04 und ClaudeBot.6 Beide Anfragen sollten 200 zurückgeben. Gibt die Crawler-Anfrage 403, 401 oder 429 oder eine Challenge-Seite zurück, reagiert etwas auf dem Server oder in der WAF auf den User-Agent. Das ist der Test, den HasData im großen Maßstab durchgeführt hat, derjenige, der auf Verlagswebsites die Lücke von 30 Punkten zwischen Browsern und GPTBot gefunden hat.5

Ein 403 ist für die Suche der schlimmste der drei, weil Crawler ihn als „der Inhalt existiert nicht“ lesen. Google ist deutlich: „Google verwendet die Inhalte von URLs, die 4xx-Statuscodes zurückgeben, nicht“, und „die Indexierungspipeline entfernt die URL aus dem Index, wenn sie zuvor indexiert war“.10 Es warnt außerdem: „Verwenden Sie die Statuscodes 401 und 403 nicht, um die Crawling-Frequenz zu begrenzen.“10 Ein 429 oder 5xx wird dagegen als Überlastung gelesen: Diese Fehler „veranlassen die Crawler von Google, das Crawling vorübergehend zu verlangsamen“, und bereits indexierte URLs „bleiben im Index erhalten, werden aber irgendwann entfernt“.10 Eine breite Regel, die auf das Wort „bot“ in einem beliebigen User-Agent reagiert, tut das auch Googlebot und Bingbot an.

Drei Stellen, an denen Sie nachsehen sollten, wenn der Test fehlschlägt:

  1. Die WAF oder das Sicherheits-Plugin. Durchsuchen Sie die Regeln nach „user agent“, „bad bots“, „AI bots“ und „crawler“. Wenn das Plugin eine Liste blockierter User-Agents hat, öffnen Sie sie und prüfen Sie, ob der Crawler einer KI-Suchmaschine darauf steht.
  2. Rate-Limiting. Crawler rufen in kurzer Zeit viele Seiten ab. Wenn das Limit 403 statt 429 zurückgibt, gilt jede Seite, die es trifft, als verschwunden.10
  3. IP-Sperren. OpenAI, Anthropic und Perplexity veröffentlichen die IP-Bereiche, die ihre Crawler verwenden, sodass Sie prüfen können, ob ein Crawler echt ist, statt es am User-Agent zu raten;364 Perplexity merkt an: „Jeder Bot hat seine eigenen IP-Bereiche, gleichen Sie also jeden User-Agent mit seinen eigenen IP-Bereichen ab.“4 Verwenden Sie die Listen zum Zulassen, nicht als Opt-out: Anthropic warnt, dass das Blockieren seiner IP-Adressen „möglicherweise nicht richtig funktioniert oder kein dauerhaftes Opt-out garantiert, da es unsere Fähigkeit beeinträchtigt, Ihre robots.txt-Datei zu lesen“.6

Was sollten Sie erlauben und was blockieren?

Entscheiden Sie nach Zweck, nicht nach Unternehmen. Such- und Nutzer-Crawler sorgen dafür, dass Sie zitiert werden; Training ist eine eigene Frage mit einem eigenen Schalter bei jedem Anbieter.3647

Zielrobots.txtCDNFirewall
Von KI-Assistenten zitiert werden und Google behaltenOAI-SearchBot, Claude-SearchBot, PerplexityBot und Googlebot erlaubenKategorie Search oder Assistants auf AllowKeine User-Agent- oder Rate-Regel gibt ihnen 403 zurück
Das behalten, aber dem Modelltraining widersprechenDisallow: / für GPTBot, ClaudeBot und Google-Extended hinzufügenTraining auf Disallow AI Training (Cloudflare) oder Deny bei AI Crawlers (Vercel)Nichts zusätzlich
KI-Antworten ganz fernbleibenAuch die Such-Crawler ausschließenKategorie Search oder Assistants blockierenOptional, für Crawler, die robots.txt ignorieren
Wischen Sie die Tabelle seitlich, um alle Spalten zu sehen.

Nur die dritte Zeile kostet Sichtbarkeit in KI-Suchmaschinen. Die zweite Zeile ist kostenlos: Google sagt, Google-Extended „wird in der Google-Suche nicht als Ranking-Signal verwendet“,7 und OpenAI sagt, eine Website könne „OAI-SearchBot erlauben, um in Suchergebnissen zu erscheinen, und gleichzeitig GPTBot ausschließen“.3

Wie hilft ContentMas bei blockierten KI-Crawlern?

ContentMas ist ein KI-gestütztes SEO-Tool, das Ihre Website für Google und KI-Suchmaschinen prüft und genau zeigt, was Sie korrigieren müssen, um besser zu ranken und zitiert zu werden. Seine Prüfungen zur Technischen Bereitschaft sehen nach, ob Crawler jede Seite erreichen und lesen können: die robots.txt-Regeln, die für Such- und KI-Crawler gelten, den Statuscode, den die Datei und die Seiten zurückgeben, Weiterleitungen und wie viel des Inhalts im HTML steckt, das der Server sendet. Seine Säule SEO- und GEO-Bereitschaft (Sichtbarkeit in Google und KI-Suchmaschinen; GEO steht für Generative Engine Optimization) prüft, ob die Seiten, die durchkommen, gefunden und zitiert werden können.

Jeder Befund kommt mit seinem Beleg und einer Korrektur, nach Wirkung geordnet, über sechs Säulen und 600+ KPIs hinweg. Der kostenlose Plan liest bis zu 10 Seiten pro Scan, 3 Scans pro 24 Stunden. Sehen Sie, wie wir bewerten, oder starten Sie ein Audit.

Das Wichtigste in Kürze

  • Eine Website kann KI-Crawler in der robots.txt, in den Bot-Einstellungen des CDN und in der Firewall blockieren; die robots.txt ist eine Empfehlung, die anderen beiden werden durchgesetzt, und alle drei müssen geprüft werden.345
  • Trainings-, Such- und Nutzer-Crawler sind getrennte User-Agents mit getrennten Schaltern bei OpenAI, Anthropic und Perplexity; Google-Extended ist ein robots.txt-Token ohne User-Agent und hat nie Einfluss auf die Google-Suche.3647
  • HasData fand heraus, dass 39.5% der Websites, die GPTBot ausschließen, ihm trotzdem Seiten ausliefern, und dass Verlage dem GPTBot-User-Agent 30 Punkte seltener antworten als einem Browser: Datei und Server widersprechen sich in beide Richtungen.5
  • Cloudflare teilt KI-Traffic jetzt in Search, Training und Agent auf, hat alte „Block AI Bots“-Domains auf Search Allow umgestellt und warnt, dass ein Block bei Search auch Googlebot und Bingbot blockiert.1
  • Ein 403 der Firewall sagt Google, dass die Seite nicht existiert, und entfernt sie aus dem Index; ein 429 verlangsamt nur das Crawling.10 Testen Sie mit dem echten User-Agent eines Crawlers und erwarten Sie 200.3

Zehn Minuten reichen, um herauszufinden, ob das Problem Ihre Inhalte oder Ihre Tore sind. Öffnen Sie die Datei, öffnen Sie das Dashboard, schicken Sie zwei Anfragen. Wenn alle drei Schichten die Such-Crawler durchlassen, bleibt eine Frage der Inhalte.

Weiterlesen: Können KI-Crawler Ihre Website lesen? Ein technischer Check in 10 Minuten und Wie Website-Sicherheit Rankings und Kundenvertrauen beeinflusst

Die Leitfäden zu den sechs Säulen: Technik · Qualität der Inhalte · Vertrauen · Aktualität · Sicherheit · SEO und GEO · Wie ContentMas jede Säule bewertet

Häufig gestellte Fragen

Hält das Blockieren von GPTBot meine Website aus der ChatGPT-Suche heraus?

Nein. OpenAI verwendet GPTBot für das Training und OAI-SearchBot für die Suche und sagt: „Jede Einstellung ist unabhängig von den anderen.“3 Nur Websites, die OAI-SearchBot ausschließen, „werden in den Antworten der ChatGPT-Suche nicht angezeigt“, auch wenn sie „weiterhin als Navigationslinks erscheinen können“.3

Entfernt das Blockieren von Google-Extended meine Seiten aus AI Overviews?

Nein. Google sagt, Google-Extended „hat keinen Einfluss auf die Aufnahme einer Website in die Google-Suche und wird auch nicht als Ranking-Signal verwendet“, und es steuert nur, ob gecrawlte Inhalte für das Training und das Grounding von Gemini-Modellen verwendet werden.7 Die Steuerung für AI Overviews und AI Mode ist die robots.txt-Regel für Googlebot, und Google bittet darum, dass das Crawling auch „von jeder CDN- oder Hosting-Infrastruktur“ erlaubt wird.2

Ich habe 2025 Cloudflares „Block AI Bots“ eingeschaltet. Blockiert es immer noch Such-Crawler?

Wahrscheinlich nicht. Cloudflare hat Domains, die die feineren Steuerungen nie verwendet haben, auf Search Allow, Training „Disallow AI Training“ und Agent „Block on pages with ads“ umgestellt.1 Öffnen Sie die Richtlinie Search und bestätigen Sie, dass dort Allow steht, denn ein Block dort gilt jetzt auch für Googlebot, Bingbot und Applebot.1

Wie lange nach einer Änderung der robots.txt bemerkt ein Crawler sie?

Etwa einen Tag. Google speichert die robots.txt „bis zu 24 Stunden“ im Cache,8 OpenAI sagt, seine Suchsysteme brauchten „~24 Stunden“ zur Anpassung,3 und Perplexity sagt, Änderungen könnten „bis zu 24 Stunden“ dauern.4 Eine Firewall-Änderung wirkt ab der nächsten Anfrage.

Kann eine Firewall KI-Crawler blockieren, die robots.txt ignorieren?

Ja, und sie ist das richtige Werkzeug für nutzergesteuerte Fetcher wie ChatGPT-User und Perplexity-User, deren eigene Dokumentation sagt, dass robots.txt-Regeln für sie möglicherweise nicht gelten.34 Erkennen Sie sie am User-Agent und an den IP-Bereichen, die die Anbieter veröffentlichen,34 und geben Sie ein 403 nur an die Crawler zurück, die Sie wirklich abweisen wollen, nie an Such-Crawler.10

Quellen

Jede nummerierte Markierung im Artikel verweist auf ihre Quelle unten.

  1. Cloudflare — Have it both ways: stay discoverable in search while disallowing AI training (öffnet in einem neuen Tab), September 2026. ↩

  2. Google Search Central — AI features and your website (öffnet in einem neuen Tab), Dezember 2025. ↩

  3. OpenAI — Overview of OpenAI Crawlers (öffnet in einem neuen Tab), aufgerufen im November 2026. ↩

  4. Perplexity — Perplexity Crawlers (öffnet in einem neuen Tab), aufgerufen im November 2026. ↩

  5. HasData — The AI Crawler Block Index (öffnet in einem neuen Tab), Oktober 2026. ↩

  6. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? (öffnet in einem neuen Tab), Oktober 2026. ↩

  7. Google Search Central — Google's common crawlers (öffnet in einem neuen Tab), Oktober 2026. ↩

  8. Google Search Central — How Google interprets the robots.txt specification (öffnet in einem neuen Tab), Oktober 2026. ↩

  9. Vercel — WAF Managed Rulesets (öffnet in einem neuen Tab), September 2026. ↩

  10. Google Search Central — How HTTP status codes affect Google's crawlers (öffnet in einem neuen Tab), Februar 2026. ↩

Über diesen Artikel

Geschrieben von , CEO und Mitgründer von ZAPTA Technologies. Geprüft vom ContentMas-Team, das ContentMas entwickelt, ein KI-gestütztes SEO-Audit-Tool, das Websites in sechs Säulen für Google und KI-Suchmaschinen prüft. Fakten und Zahlen verlinken auf ihre Originalquellen in den Quellenangaben. Ist etwas veraltet? Schreiben Sie uns, dann korrigieren wir es.

Kostenloses Website-Audit

Sehen Sie, wie Ihre Website bei Suchmaschinen und KI-Assistenten abschneidet.

Ein Score, sechs Säulen-Scores und eine priorisierte Korrekturliste in wenigen Minuten. Ohne Kreditkarte.

Kostenloses Audit starten
#KI-Crawler blockieren#robots.txt#GPTBot#OAI-SearchBot#Cloudflare KI-Bots#Firewall#KI-Suchmaschinen