Attrape-Robots

Bloquer ou autoriser les robots IA dans robots.txt

Décidez par usage (entraînement, indexation, visite à la demande) et écrivez les lignes robots.txt correspondantes.

  1. Choisissez par usage : bloquer l’entraînement ne coûte aucune visibilité, bloquer l’indexation ou la visite à la demande vous retire des réponses.
  2. Écrivez une règle par robot comme ci-dessous, ou cochez vos choix dans le générateur.
  3. Gardez OAI-SearchBot, Claude-SearchBot, PerplexityBot et ChatGPT-User autorisés si vous voulez rester cité.
  4. Le robots.txt est une consigne : contre les robots qui l’ignorent, filtrez par IP (vérifier l’IP d’un robot).
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Voir aussi