robots.txt-Checker für KI-Crawler
Dürfen ChatGPT und Co. Ihre Website lesen?
Geben Sie Ihre Domain ein. Wir lesen Ihre robots.txt und zeigen für 15 Crawler von OpenAI, Anthropic, Perplexity, Google und anderen, ob sie Ihre Seite abrufen dürfen, getrennt nach KI-Suche und KI-Training. Dazu die Zeile, die das entscheidet.
Kostenlos und ohne Anmeldung. Hinweise zur Verarbeitung in der Datenschutzerklärung.
Fragen zu KI-Crawlern
- Was ist der OAI-SearchBot?
- Der Crawler, mit dem OpenAI Seiten für die Suche in ChatGPT abruft. Ist er in der robots.txt gesperrt, nutzt ChatGPT Ihre Seite in seinen Suchantworten nicht als Quelle. GPTBot ist ein anderer Crawler von OpenAI, er sammelt Inhalte für das Training der Modelle.
- Was ist der Unterschied zwischen Suche und Training?
- Such-Crawler holen Inhalte, damit eine KI-Suche aktuelle Antworten mit Quellenangabe geben kann. Trainings-Crawler sammeln Inhalte für künftige Modelle. Viele Websites sperren aus Vorsicht alle KI-Crawler und verschwinden damit auch aus der Suche. Wer nur das Training ausschließen will, sperrt GPTBot, ClaudeBot und Google-Extended und lässt OAI-SearchBot, Claude-SearchBot und PerplexityBot zu.
- Reicht eine freigegebene robots.txt?
- Nicht immer. Manche Hoster und Firewalls sperren KI-Crawler unabhängig von der robots.txt. Der Check ruft Ihre Startseite deshalb zusätzlich mit der Kennung einiger Crawler ab und meldet, wenn der Server diese Abrufe abweist. Bei Abrufen auf direkte Nutzeranfrage, etwa ChatGPT-User, halten sich einige Anbieter nach eigenen Angaben zudem nicht in jedem Fall an die robots.txt.
- Wird die Google-Suche durch Google-Extended beeinflusst?
- Nein. Google-Extended regelt laut Google nur, ob Inhalte für die Gemini-Modelle genutzt werden dürfen. Für die Google-Suche, auch für die Übersicht mit KI, gilt allein der Googlebot.
Ob KI-Suchen Ihr Unternehmen bei den Fragen Ihrer Kunden tatsächlich nennen, misst der KI-Sichtbarkeits-Check.