# robots.txt — Claro Chile | AI/GEO Ready
# Ultima actualizacion: 2026-06-16
# Optimizado para SEO tradicional + AEO/GEO (LLM, AI Search, AI Overviews)
#
# Guia de descubrimiento para LLMs: /llms.txt
# Sitio oficial: https://www.clarochile.cl/

# =============================================================
# 1. Acceso general - SEO tradicional
# =============================================================

User-agent: *
Allow: /

# Reglas específicas del país
Disallow: /*&utm_*
Disallow: /*?q=
Disallow: /*?s=
Disallow: /*?utm_*
Disallow: /*_backup$
Disallow: /*_backup/
Disallow: /api/
Disallow: /apps-react/
Disallow: /demo-componentes/
Disallow: /error/
Disallow: /gracias-*/
Disallow: /personas2/
Disallow: /test-*/
Disallow: /test-componentes-cms/
Disallow: /test-componentes/
Disallow: /test-search-amx/
Disallow: /test-search/
Disallow: /testpage/
Disallow: /wps/
Disallow: /negocios/vb/
Disallow: /portal/cl/
Disallow: /portal/cl/recursos_contenido/
Disallow: /portal/cl/recursos_portlets/
Disallow: /portal/cl/recursos_tema/
Disallow: /portal/cl/recursos_tema_evo/

# Activos permitidos siempre (renderizado correcto + Open Graph)
Allow: */*favicon.*$
Allow: */icon-touch*.*$
Allow: /*.css$
Allow: /*.gif$
Allow: /*.ico$
Allow: /*.jpeg$
Allow: /*.jpg$
Allow: /*.js$
Allow: /*.png$
Allow: /*.svg$
Allow: /*.webp$
Allow: /*.woff$
Allow: /*.woff2$
Allow: /llms.txt
Allow: /robots.txt
Allow: /sitemap.xml

# =============================================================
# 1.b Bots internos / reglas heredadas del sitio
# =============================================================

User-agent: AdsBot-Google
Allow: /
Disallow: /personas/vb/
Disallow: /personas2/
Disallow: /negocios/vb/

User-agent: Googlebot
Allow: /
Disallow: /personas/vb/
Disallow: /personas2/
Disallow: /negocios/vb/

User-agent: Googlebot-image
Allow: /
Disallow: /personas/vb/
Disallow: /personas2/
Disallow: /negocios/vb/


# =============================================================
# 2. Crawlers de motores tradicionales
# =============================================================

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Googlebot-Video
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Slurp
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Baiduspider
Allow: /

# =============================================================
# 3. Crawlers de IA generativa - entrenamiento de modelos
# =============================================================

User-agent: Google-Extended
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Bytespider
Allow: /

# =============================================================
# 4. Crawlers de IA en tiempo real (AI Search / browsing por usuario)
# =============================================================

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: CopilotBot
Allow: /

User-agent: DuckAssistBot
Allow: /

# =============================================================
# 5. Bots no deseados / scrapers agresivos (bloqueo explicito)
# =============================================================

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: SeekportBot
Disallow: /

User-agent: BLEXBot
Disallow: /

# =============================================================
# 6. Cortesia y rate-limit
# =============================================================

Crawl-delay: 1

# =============================================================
# 7. Sitemaps
# =============================================================

Sitemap: https://www.clarochile.cl/sitemap.xml
Sitemap: https://www.clarochile.cl/sitemap-empresas.xml
Sitemap: https://www.clarochile.cl/sitemap-negocios.xml

# AI hint (no estándar, leído por algunos crawlers GEO):
# LLMs: https://www.clarochile.cl/llms.txt