Un exemple du résultat de ce prompt. Sa structure provient de la sortie réelle des outils ; les chiffres et les noms sont fictifs.
Exemple de résultat (basé sur un site fictif, pas sur des données clients réelles)
Le fichier actuel contient deux groupes : User-agent: * (Disallow: /panel/, /cart/) et User-agent: GPTBot (Disallow: /). Votre préférence est B : recherche ouverte, entrainement fermé.
| Crawler | Rôle | Ancienne décision | Nouvelle décision |
|---|
| OAI-SearchBot | Recherche | Autorisé | Autorisé |
| Claude-SearchBot | Recherche | Autorisé | Autorisé |
| PerplexityBot | Recherche | Autorisé | Autorisé |
| ChatGPT-User | Requête utilisateur | Autorisé | Autorisé |
| GPTBot | Entrainement | Bloqué | Bloqué |
| ClaudeBot | Entrainement | Autorisé | Bloqué |
| Google-Extended | Entrainement | Autorisé | Bloqué |
| CCBot | Entrainement | Autorisé | Bloqué |
Remarque : l'ancien groupe GPTBot ne répétait pas les lignes /panel/ et /cart/. Cela était sans conséquence, puisque ce groupe fermait l'ensemble du site, mais dans le nouveau fichier ces deux lignes sont écrites dans chaque groupe nommé.
Après votre validation, robots.txt a été écrit avec site_write_file. site_read_url l'a relu en ligne : il renvoie un code 200 et affiche le nouveau contenu. Pour revenir en arrière, la version de 14:02 dans site_versions contient l'ancien fichier.
Remarque : les crawlers relisent généralement le fichier dans la journée. Si une règle de pare-feu bloque par nom de crawler, robots.txt seul ne suffit pas.