Site web

Définir une politique robots.txt pour les crawlers IA et la publier en toute sécurité

Vous aide Ă dĂ©cider Ă quels crawlers IA le site doit ĂȘtre ouvert, en distinguant les rĂŽles de recherche, de rĂ©cupĂ©ration Ă la demande d'un utilisateur et d'entraĂźnement. PrĂ©visualise un nouveau robots.txt qui conserve vos rĂšgles existantes, l'Ă©crit sur votre site hĂ©bergĂ© ou WordPress aprĂšs validation, puis vĂ©rifie qu'il est bien en ligne.

Quand l'utiliser

Lorsque vous ne savez pas quels robots d'IA autoriser sur votre site et que vous voulez une politique robots.txt réfléchie sans ouvrir par erreur des zones privées.

Ce que vous obtenez

Vous obtenez un nouveau robots.txt qui conserve vos règles existantes, organisé par rôle de robot, prévisualisé ligne par ligne, publié après votre validation et vérifié en ligne.

Modifie-t-il quelque chose dans mon compte ?

Seulement avec votre accord. L'assistant montre d'abord un aperçu de chaque modification et attend votre feu vert.

Fonctionne avec

SEO Intelligence, WordPress

À compléter avant l'envoi

[URL du site][hébergement Opus Growth ou WordPress]
Retravaille le robots.txt de mon site [URL du site] autour d'une politique dĂ©libĂ©rĂ©e pour les crawlers IA. Type de site : [hĂ©bergement Opus Growth ou WordPress]. Ma prĂ©fĂ©rence : [A : ouvert Ă tous / B : recherche ouverte, entraĂźnement fermĂ© / C : sur mesure, explique]. 1. Lis l'Ă©tat actuel. Lis [URL du site]/robots.txt avec site_read_url. Si le site est sur l'hĂ©bergement Opus Growth, lis aussi robots.txt avec site_read_file et vĂ©rifie qu'il correspond Ă ce qui est en ligne. S'il s'agit de WordPress, identifie le plugin SEO qui le gĂšre avec wordpress_seo et vĂ©rifie avec wordpress_snippet action='list' si un snippet touche dĂ©jĂ au robots.txt. Liste tous les groupes de rĂšgles existants, toutes les lignes Disallow et toutes les lignes Sitemap. 2. Explique les rĂŽles. RĂ©partis les crawlers en trois groupes et dis-moi en une phrase chacun ce que je perds ou gagne : 1. Recherche et citation : OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot, Googlebot, Applebot. Les bloquer empĂȘche le site d'ĂȘtre citĂ© comme source dans les rĂ©ponses de cet assistant. 2. RĂ©cupĂ©ration en direct pour le compte d'un utilisateur : ChatGPT-User, Claude-User, Perplexity-User. Ces crawlers arrivent quand un utilisateur partage mon lien ou quand l'assistant ouvre une page pour rĂ©pondre. Selon la documentation des fournisseurs, robots.txt peut ne pas s'appliquer dans tous les cas Ă ces requĂȘtes initiĂ©es par l'utilisateur ; prĂ©cise donc qu'une rĂšgle ici n'est pas une garantie. 3. EntraĂźnement des modĂšles : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent. Les bloquer limite l'utilisation du contenu dans les futurs entraĂźnements, mais ne retire pas le contenu des modĂšles dĂ©jĂ entraĂźnĂ©s. Bloquer Google-Extended n'affecte ni Google Search ni les AI Overviews. 3. RĂ©dige le brouillon. PrĂ©pare le nouveau robots.txt selon ma prĂ©fĂ©rence en respectant ces rĂšgles : 1. DĂšs qu'un groupe est Ă©crit sous le nom propre d'un crawler, celui-ci ne lit plus le groupe `User-agent: *`. Recopie donc toutes les lignes Disallow du groupe * (espace d'administration, panier, rĂ©sultats de recherche interne, etc.) dans chaque groupe nommĂ©, sans quoi tu ouvriras des zones privĂ©es sans t'en rendre compte. 2. Ne bloque pas les fichiers CSS, JavaScript ni les images, car les crawlers en ont besoin pour afficher la page. 3. Conserve les lignes Sitemap existantes et ajoute l'URL complĂšte du sitemap si elle manque. 4. Ne bloque aucun crawler de recherche sauf si je le demande explicitement. 5. Ne touche pas aux crawlers SEO de la concurrence (comme AhrefsBot et SemrushBot) sauf si je le demande ; ils sortent du pĂ©rimĂštre de cette tĂąche. 4. Montre un aperçu. Compare l'ancien et le nouveau fichier ligne Ă ligne, puis affiche un tableau avec la dĂ©cision avant et aprĂšs pour chaque crawler : crawler, rĂŽle, ancienne dĂ©cision, nouvelle dĂ©cision. Attends mon accord. 5. Applique aprĂšs validation. 1. Site hĂ©bergĂ© : Ă©cris robots.txt avec site_write_file. La plateforme prend un instantanĂ© de version avant chaque Ă©criture ; indique-moi donc Ă quelle version de site_versions je peux revenir. 2. WordPress : quand aucun fichier physique n'existe sur le serveur, WordPress gĂ©nĂšre lui-mĂȘme le robots.txt et le filtre `robots_txt` permet de le modifier. CrĂ©e un snippet PHP avec wordpress_snippet qui utilise ce filtre, emplacement 'everywhere'. Le snippet est créé inactif : montre-moi le code et n'active-le qu'aprĂšs mon accord. Si un plugin de cache est actif, vide le cache avec wordpress_purge_cache. 6. Relis le rĂ©sultat. Relis robots.txt avec site_read_url et montre que le nouveau contenu est bien en ligne. Sur WordPress, si le contenu n'a pas changĂ©, c'est qu'un fichier robots.txt physique existe sur le serveur et que le filtre ne peut pas l'atteindre. Dans ce cas, dĂ©sactive le snippet et guide-moi pour modifier le fichier dans l'Ă©diteur de fichiers du plugin SEO (Yoast : Outils, Ădition de fichiers ; Rank Math : RĂ©glages gĂ©nĂ©raux, Modifier robots.txt) ou dans le panneau d'hĂ©bergement. Termine par une note de deux phrases : la modification prend effet quand les crawlers relisent le fichier (en gĂ©nĂ©ral sous un jour), et si une rĂšgle de CDN ou de pare-feu bloque par nom de crawler, robots.txt seul ne suffit pas.

Exemple de résultat

Un exemple du résultat de ce prompt. Sa structure provient de la sortie réelle des outils ; les chiffres et les noms sont fictifs.

Exemple de résultat (basé sur un site fictif, pas sur des données clients réelles)

Le fichier actuel contient deux groupes : User-agent: * (Disallow: /panel/, /cart/) et User-agent: GPTBot (Disallow: /). Votre préférence est B : recherche ouverte, entrainement fermé.

CrawlerRôleAncienne décisionNouvelle décision
OAI-SearchBotRechercheAutoriséAutorisé
Claude-SearchBotRechercheAutoriséAutorisé
PerplexityBotRechercheAutoriséAutorisé
ChatGPT-UserRequête utilisateurAutoriséAutorisé
GPTBotEntrainementBloquéBloqué
ClaudeBotEntrainementAutoriséBloqué
Google-ExtendedEntrainementAutoriséBloqué
CCBotEntrainementAutoriséBloqué

Remarque : l'ancien groupe GPTBot ne répétait pas les lignes /panel/ et /cart/. Cela était sans conséquence, puisque ce groupe fermait l'ensemble du site, mais dans le nouveau fichier ces deux lignes sont écrites dans chaque groupe nommé.

Après votre validation, robots.txt a été écrit avec site_write_file. site_read_url l'a relu en ligne : il renvoie un code 200 et affiche le nouveau contenu. Pour revenir en arrière, la version de 14:02 dans site_versions contient l'ancien fichier.

Remarque : les crawlers relisent généralement le fichier dans la journée. Si une règle de pare-feu bloque par nom de crawler, robots.txt seul ne suffit pas.

Recherches associées

Ces prompts donnent le meilleur résultat quand votre assistant IA est connecté à vos comptes avec Opus Growth.

Connecter vos comptes gratuitement

Autres prompts

Site webModifie après votre accordDémo en direct

Créer un site d'expert éditorial avec rubrique de guides et schema auteur

Votre assistant construit le site d'un expert : une page d'accueil façon une de magazine, des guides longs et un profil d'auteur. Typographie à empattements, schema Article et Person, articles datés et sourcés : une publication que l'on lit et que les réponses d'IA peuvent citer.

Quand l'utiliserQuand vous êtes expert indépendant, consultant ou freelance et que votre site ressemble à une brochure qui ne prouve pas votre expertise et n'est pas cité par les moteurs de recherche et les réponses d'IA.

SEO Intelligence, Search Console
Site webModifie après votre accordDémo en direct

Créer un site d'entreprise familiale au look classique, aux standards modernes

Demandez à votre assistant de construire le site d'un producteur de troisième génération, dans l'esprit d'une vieille étiquette ou d'une enseigne, avec cadre et texture papier. Le look est ancien, la construction est moderne : mobile first, sans JavaScript, polices auto-hébergées, WebP, schémas Product et HowTo.

Quand l'utiliserQuand vous tenez une entreprise familiale ou une boutique et voulez un site au look d'étiquette ancienne et d'enseigne, qui reste rapide sur mobile et réussit les contrôles SEO et d'accessibilité.

SEO Intelligence, Search Console
Site webModifie après votre accordDémo en direct

Créer un site de cabinet juridique ou comptable, minimaliste suisse et rassurant

Demandez à votre assistant de construire un site de cabinet statique sur une grille stricte, avec une hiérarchie portée par une seule famille typographique. Il place les signaux de confiance qu'exige un domaine YMYL : profils des praticiens, note d'information datée et sourcée, formulations conformes aux règles de publicité professionnelle et schema Person.

Quand l'utiliserLorsque vous dirigez un cabinet d'avocats ou d'expertise comptable et qu'il vous faut un site crédible et rapide qui inspire confiance sans enfreindre les règles de publicité professionnelle.

SEO Intelligence, Search Console
Site webModifie après votre accordDémo en direct

Créer un site corporate multipage sans JavaScript et le livrer à 100

Demandez à votre assistant de construire un site statique, rapide et accessible pour une activité de type architecture, ingénierie ou conseil. Le menu et le pied de page sont en HTML statique, les polices et le CSS sont auto-hébergés, et chaque page est mesurée avant la livraison.

Quand l'utiliserQuand vous avez besoin d'un site d'entreprise multipage, rapide et accessible, pour un cabinet d'architecture, d'ingénierie ou de conseil, sans aucun JavaScript.

SEO Intelligence, Search Console