Cómo configurar robots.txt para crawlers de IA

El robots.txt es el primer archivo que visita cada crawler — incluidos los de IA. Determina si GPTBot, ClaudeBot y otros pueden leer tu sitio. Una configuración incorrecta puede hacerte completamente invisible.

¿Qué crawlers de IA existen?

• GPTBot — OpenAI (ChatGPT)
• ClaudeBot — Anthropic (Claude)
• Google-Extended — Google (Gemini)
• PerplexityBot — Perplexity AI
• Bingbot — Microsoft (Copilot)
• meta-externalagent — Meta AI
• DeepSeekBot — DeepSeek
• MistralBot — Mistral AI

El robots.txt ideal

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://tu-dominio.es/sitemap.xml

Errores comunes

El error más común: un Disallow: / global que accidentalmente bloquea también los bots de IA. O bloquear deliberadamente los bots pensando en "proteger datos" — solo te hace invisible.

¿Bloquear o permitir?

Hay buenas razones para bloquear ciertos crawlers de IA. Pero recuerda: si bloqueas GPTBot, ChatGPT no podrá recomendar tu contenido.

Cómo verificar

Escanea tu sitio con scan8 — la categoría "AI Crawler Access" te muestra al instante qué bots de IA tienen acceso.