# robots.txt pour courtierassurancerouen.fr
# Site 100% indexable - Optimisé pour le SEO

# ========================================
# INDEXATION COMPLÈTE AUTORISÉE
# ========================================

# Règle générale : Tout est indexable
User-agent: *
Allow: /

# Sitemap XML (généré automatiquement par Astro)
Sitemap: https://courtierassurancerouen.fr/sitemap-index.xml

# ========================================
# OPTIMISATION CRAWL BUDGET
# ========================================

# Bloquer les ressources techniques inutiles (économise le crawl budget)
User-agent: *
Disallow: /_astro/*.js
Disallow: /_astro/*.css
Disallow: /_astro/*.map
Disallow: /api/

# ========================================
# MOTEURS DE RECHERCHE PRINCIPAUX
# ========================================

# Google
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

# Bing
User-agent: Bingbot
Allow: /

# Yandex
User-agent: Yandex
Allow: /

# DuckDuckGo
User-agent: DuckDuckBot
Allow: /

# ========================================
# SEO TOOLS - CRAWL RALENTI
# ========================================

# Ahrefs (outil SEO)
User-agent: AhrefsBot
Crawl-delay: 10
Allow: /

# SEMrush (outil SEO)
User-agent: SemrushBot
Crawl-delay: 10
Allow: /

# Moz (outil SEO)
User-agent: dotbot
Crawl-delay: 10
Allow: /

# Majestic SEO
User-agent: MJ12bot
Crawl-delay: 10
Allow: /

# ========================================
# BOT OPTIMIZATION
# ========================================

# Crawl-delay par défaut (évite surcharge serveur)
User-agent: *
Crawl-delay: 1