Comment configurer robots.txt pour les crawlers IA

Le robots.txt est le premier fichier que chaque crawler visite — y compris les crawlers IA. Il détermine si GPTBot, ClaudeBot et les autres peuvent lire votre site. Une mauvaise configuration peut vous rendre complètement invisible.

Quels crawlers IA existent ?

• GPTBot — OpenAI (ChatGPT)
• ClaudeBot — Anthropic (Claude)
• Google-Extended — Google (Gemini)
• PerplexityBot — Perplexity AI
• Bingbot — Microsoft (Copilot)
• meta-externalagent — Meta AI
• DeepSeekBot — DeepSeek
• MistralBot — Mistral AI

Le robots.txt idéal

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://votre-domaine.fr/sitemap.xml

Erreurs courantes

L'erreur la plus fréquente : un Disallow: / global qui bloque accidentellement les bots IA. Ou bloquer délibérément les bots IA en pensant "protéger ses données" — cela vous rend simplement invisible.

Bloquer ou autoriser ?

Il y a de bonnes raisons de bloquer certains crawlers IA. Mais n'oubliez pas : si vous bloquez GPTBot, ChatGPT ne pourra pas recommander votre contenu.

Comment vérifier

Scannez votre site avec scan8 — la catégorie "AI Crawler Access" vous montre instantanément quels bots IA ont accès.