Bloquear o permitir rastreadores IA en robots.txt
Decida por uso (entrenamiento, indexación, visita bajo demanda) y escriba las líneas robots.txt correspondientes.
- Elija por uso: bloquear el entrenamiento no cuesta visibilidad; bloquear la indexación o la visita bajo demanda le saca de las respuestas.
- Escriba una regla por bot como abajo, o marque sus opciones en el generador.
- Mantenga permitidos OAI-SearchBot, Claude-SearchBot, PerplexityBot y ChatGPT-User si quiere seguir siendo citado.
- robots.txt es una petición: contra los bots que la ignoran, filtre por IP (verificar la IP de un bot).
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /