Bloquer ou autoriser les robots IA dans robots.txt
Décidez par usage (entraînement, indexation, visite à la demande) et écrivez les lignes robots.txt correspondantes.
- Choisissez par usage : bloquer l’entraînement ne coûte aucune visibilité, bloquer l’indexation ou la visite à la demande vous retire des réponses.
- Écrivez une règle par robot comme ci-dessous, ou cochez vos choix dans le générateur.
- Gardez OAI-SearchBot, Claude-SearchBot, PerplexityBot et ChatGPT-User autorisés si vous voulez rester cité.
- Le robots.txt est une consigne : contre les robots qui l’ignorent, filtrez par IP (vérifier l’IP d’un robot).
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /