Attrape-Robots

Robots IA derrière un CDN : retrouver la vraie IP

Derrière un CDN, vos journaux montrent l’adresse du proxy. Voici comment retrouver celle du robot.

  1. Derrière Cloudflare, Fastly ou tout proxy inverse, vos journaux enregistrent l’adresse du CDN, la même pour un robot et un humain.
  2. La vraie adresse voyage dans un en-tête posé par le proxy : faites-lui confiance sur votre origine (exemple nginx ci-dessous).
  3. Le set_real_ip_from est obligatoire : sans lui, n’importe qui forge l’en-tête et se fait passer pour Googlebot.
  4. Ou filtrez dans une règle WAF du CDN, où l’adresse source est déjà la bonne. Ne figez pas les plages dans la configuration.
real_ip_header CF-Connecting-IP;
set_real_ip_from ;

Voir aussi