User-agent: *
Content-Signal: ai-train=yes, search=yes, ai-input=yes
Allow: /
Disallow: /api/
Disallow: /signer/
# /recherche/ : PAS de Disallow ici : la page porte deja un meta noindex
# (src/app/recherche/page.tsx). La bloquer empechait Google de lire le noindex,
# d'ou "Indexee malgre blocage robots.txt". Crawlable => noindex respecte => desindexee.
Disallow: /*?share=
Disallow: /*?utm_
Disallow: /*?fbclid=
# is_wppwa / wpappninja_cache / nonamp / amp / doing_wp_cron : PAS de Disallow ici.
# Ces params parasites sont 301-nettoyes vers l'URL propre par middleware.ts.
# Les bloquer empechait Google de voir la redirection, d'ou "Indexee malgre
# blocage robots.txt". Crawlable => 301 suivi => URL propre consolidee (meme
# logique que /recherche/ ci-dessus).

# Yandex/Bing: strip old social share params (1334 legacy URLs)
Clean-param: share
Clean-param: utm_source utm_medium utm_campaign utm_content utm_term
Clean-param: fbclid
Clean-param: nonamp
Clean-param: is_wppwa
Clean-param: doing_wp_cron

# AI Crawlers - accès autorisé avec attribution
# RFC 9309 : un groupe nommé n'hérite PAS des règles du groupe *. Les Disallow
# de sécurité /api/ et /signer/ sont donc répétés dans chaque groupe nommé.
# OpenAI : GPTBot (entraînement), OAI-SearchBot (découverte ChatGPT Search), ChatGPT-User (visite déclenchée par l'utilisateur)
User-agent: GPTBot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: OAI-SearchBot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: ChatGPT-User
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

# Anthropic : ClaudeBot (entraînement), Claude-SearchBot (recherche Claude), Claude-User (visite déclenchée par l'utilisateur)
User-agent: ClaudeBot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: Claude-SearchBot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: Claude-User
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

# Perplexity : PerplexityBot (index) + Perplexity-User (visite déclenchée par l'utilisateur)
User-agent: PerplexityBot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: Perplexity-User
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: CCBot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

# Google-Extended : contrôle l'usage pour Gemini/Vertex (entraînement + grounding).
# N'influence PAS l'apparition dans les AI Overviews, qui dépend de Googlebot.
User-agent: Google-Extended
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

User-agent: Bytespider
Disallow: /

User-agent: amazonbot
Allow: /
Allow: /api/mcp/
Disallow: /api/
Disallow: /signer/

Sitemap: https://wpformation.com/sitemap.xml

# LLMs - AI-readable site descriptions
# https://llmstxt.org/
# llms.txt: https://wpformation.com/llms.txt
# llms-full.txt: https://wpformation.com/llms-full.txt