Attrape-Robots

Questions fréquentes

Bloquer GPTBot me retire-t-il des réponses de ChatGPT ?

Non. GPTBot sert à l’entraînement. La recherche de ChatGPT passe par OAI-SearchBot, et la visite d’une page demandée par un utilisateur par ChatGPT-User. Bloquer OAI-SearchBot vous retire des réponses sourcées.

Un User-Agent prouve-t-il qu’un robot est authentique ?

Non. N’importe qui écrit GPTBot dans un en-tête. Comparez l’adresse IP d’origine aux plages publiées par l’éditeur.

Et si mon site est derrière un CDN ?

Vos journaux affichent l’adresse du CDN. Utilisez l’en-tête de vraie IP posé par le proxy (avec une liste de proxys de confiance) ou filtrez dans une règle WAF du CDN.

Le robots.txt suffit-il à bloquer un robot ?

Non. Les robots sérieux le respectent, les autres l’ignorent. Seul un filtrage par IP est efficace contre ces derniers.

Crawlers IA · Diagnostic