Attrape-Robots

Vérifier l’adresse IP d’un robot IA

Comparez l’adresse d’origine aux plages officielles : un nom d’agent ne prouve rien.

  1. Récupérez l’adresse réelle du visiteur dans vos journaux (derrière un CDN, voir le guide CDN).
  2. Comparez-la aux plages publiées par l’éditeur, listées dans la liste des crawlers.
  3. Sans plage publiée, appuyez-vous sur la documentation de l’éditeur ; Google et Bing documentent aussi une vérification par DNS inverse.
  4. Retéléchargez les fichiers régulièrement : les éditeurs changent leurs plages sans préavis.
curl -s https://openai.com/gptbot.json

Voir aussi