KI-Crawler in robots.txt blockieren oder zulassen
Entscheiden Sie nach Zweck (Training, Indexierung, Abruf auf Anfrage) und schreiben Sie die passenden robots.txt-Zeilen.
- Nach Zweck wählen: Training zu blockieren kostet keine Sichtbarkeit; Indexierung oder Abruf auf Anfrage zu blockieren entfernt Sie aus Antworten.
- Eine Regel pro Bot wie unten, oder Auswahl im Generator ankreuzen.
- Lassen Sie OAI-SearchBot, Claude-SearchBot, PerplexityBot und ChatGPT-User zu, wenn Sie zitiert werden wollen.
- robots.txt ist eine Bitte: gegen Bots, die sie ignorieren, hilft IP-Filterung (IP eines Bots prüfen).
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /