# ---------------------------------------------------------------------------
# robots.txt — L'Observatoire de la Bagnole
#
# Trois étages :
#   1. Moteurs de recherche : OUVERTS. Ce sont eux qui nous font exister.
#   2. Entraînement de modèles : REFUSÉ. Ces robots prennent tout et ne renvoient
#      jamais un visiteur ; et notre opposition à la fouille de textes et de données
#      doit être lisible par machine pour valoir (cf. /mentions-legales/).
#   3. Citation en direct : ACCEPTÉE. Ces robots lisent une page pour répondre à
#      quelqu'un maintenant, et citent la source avec un lien.
#
# Ce fichier est DÉCLARATIF : il exprime une volonté, il ne protège de rien.
# Jetons vérifiés sur les documentations officielles ; ils évoluent, à revoir.
# ---------------------------------------------------------------------------

# --- 1. Par défaut, tout le monde peut lire (Googlebot, Bingbot compris) -----
# La ligne Disallow est REPRISE À L'IDENTIQUE dans chaque groupe autorisé plus bas :
# un robot n'obéit qu'à UN groupe, celui qui le nomme. Voir ROBOTS_DOUBLONS.
User-agent: *
Allow: /
Disallow: /comparer/?*
Disallow: /recherche/?*

# --- 2. Collecte pour l'entraînement de modèles : non ------------------------
# OpenAI — collecte destinée à l'entraînement des modèles de fondation.
User-agent: GPTBot
Disallow: /

# Anthropic — ClaudeBot sert à l'entraînement ; Claude-User et Claude-SearchBot,
# qui servent à répondre et à citer, restent autorisés plus bas.
User-agent: ClaudeBot
Disallow: /

# Google — jeton SÉPARÉ de Googlebot, réservé à l'entraînement de Gemini. Google
# documente qu'il n'affecte ni l'indexation ni le classement dans Search.
User-agent: Google-Extended
Disallow: /

# Apple — opt-out d'Apple Intelligence. Applebot, l'indexeur de Siri et Spotlight,
# reste autorisé par le bloc « * » ci-dessus.
User-agent: Applebot-Extended
Disallow: /

# Meta.
User-agent: Meta-ExternalAgent
Disallow: /

# Common Crawl — corpus public qui alimente l'entraînement de nombreux modèles.
User-agent: CCBot
Disallow: /

# ByteDance — conformité réputée irrégulière : cette ligne vaut opposition
# formelle, pas protection.
User-agent: Bytespider
Disallow: /

# Anciens jetons Anthropic, dépréciés : refusés par précaution, sans coût.
User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

# --- 3. Lecture pour répondre et citer : oui ---------------------------------
# Ces robots consultent une page pour répondre à une question posée maintenant et
# citent la source avec un lien : ils peuvent nous amener des lecteurs.
User-agent: OAI-SearchBot
Allow: /
Disallow: /comparer/?*
Disallow: /recherche/?*

User-agent: ChatGPT-User
Allow: /
Disallow: /comparer/?*
Disallow: /recherche/?*

User-agent: Claude-SearchBot
Allow: /
Disallow: /comparer/?*
Disallow: /recherche/?*

User-agent: Claude-User
Allow: /
Disallow: /comparer/?*
Disallow: /recherche/?*

User-agent: PerplexityBot
Allow: /
Disallow: /comparer/?*
Disallow: /recherche/?*

Sitemap: https://lobservatoiredelabagnole.fr/sitemap.xml

# Carte du site pour agents : https://lobservatoiredelabagnole.fr/llms.txt
# Catalogue de jeux de données (Schema.org) : https://lobservatoiredelabagnole.fr/dataset.json