Define una política de robots.txt para rastreadores de IA y publícala de forma segura

Rehaz el robots.txt de mi sitio [site URL] en torno a una política deliberada para los rastreadores de IA. Tipo de sitio: [Opus Growth hosting or WordPress]. Mi preferencia: [A: open to all / B: search open, training closed / C: custom, explain]. 1. Lee el estado actual. Lee [site URL]/robots.txt con site_read_url. Si el sitio está en el hosting de Opus Growth, lee también robots.txt con site_read_file y confirma que coincide con lo que está publicado. Si es WordPress, averigua qué plugin de SEO lo gestiona con wordpress_seo y comprueba con wordpress_snippet action='list' si ya hay algún snippet que toque robots.txt. Enumera todos los grupos de reglas existentes, todas las líneas Disallow y todas las líneas Sitemap. 2. Explica los roles. Agrupa los rastreadores en tres grupos y dime en una frase cada uno qué pierdo o gano: 1. Búsqueda y citación: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot, Googlebot, Applebot. Bloquearlos impide que el sitio se cite como fuente en las respuestas de ese asistente. 2. Consulta en vivo en nombre de un usuario: ChatGPT-User, Claude-User, Perplexity-User. Llegan cuando un usuario comparte mi enlace o cuando el asistente abre una página para responder. Según la documentación de los proveedores, es posible que robots.txt no se aplique en todos los casos a estas solicitudes iniciadas por el usuario, así que indica que una regla aquí no es una garantía. 3. Entrenamiento de modelos: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent. Bloquearlos limita el uso del contenido en futuros entrenamientos, pero no elimina el contenido de los modelos que ya fueron entrenados. Bloquear Google-Extended no afecta a la Búsqueda de Google ni a las AI Overviews. 3. Redacta el borrador. Prepara el nuevo robots.txt según mi preferencia y sigue estas reglas: 1. Cuando escribes un grupo con el nombre propio de un rastreador, ese rastreador deja de leer el grupo `User-agent: *`. Por eso, copia todas las líneas Disallow del grupo * (área de administración, carrito, resultados de búsqueda interna, etc.) en cada grupo con nombre; de lo contrario abrirás zonas privadas sin darte cuenta. 2. No bloquees archivos CSS, JavaScript ni de imagen, porque los rastreadores los necesitan para renderizar la página. 3. Conserva las líneas Sitemap existentes y añade la URL completa del sitemap si falta. 4. No bloquees ningún rastreador con rol de búsqueda a menos que yo lo pida explícitamente. 5. Deja en paz a los rastreadores SEO de la competencia (como AhrefsBot y SemrushBot) salvo que yo lo pida; quedan fuera del alcance de este trabajo. 4. Muestra una vista previa. Compara el archivo antiguo y el nuevo línea por línea, y muestra una tabla con la decisión anterior y la nueva para cada rastreador: rastreador, rol, decisión anterior, decisión nueva. Espera mi aprobación. 5. Aplica los cambios tras la aprobación. 1. Sitio alojado: escribe robots.txt con site_write_file. La plataforma toma una instantánea de versión antes de cada escritura, así que dime a qué versión de site_versions puedo volver. 2. WordPress: cuando no existe un archivo físico en el servidor, WordPress genera robots.txt por sí mismo y el filtro `robots_txt` puede modificarlo. Crea con wordpress_snippet un snippet de PHP que use este filtro, con ubicación 'everywhere'. El snippet se crea inactivo, así que muéstrame el código y actívalo solo después de que yo lo apruebe. Si hay un plugin de caché activo, limpia la caché con wordpress_purge_cache. 6. Vuelve a leerlo. Lee robots.txt de nuevo con site_read_url y demuestra que el nuevo contenido está en línea. En WordPress, si el contenido no cambió, significa que hay un archivo robots.txt físico en el servidor y el filtro no puede alcanzarlo. En ese caso, desactiva el snippet y guíame para cambiar el archivo desde el editor de archivos del plugin de SEO (Yoast: Herramientas, Editor de archivos; Rank Math: Ajustes generales, Editar robots.txt) o desde el panel del hosting. Termina con una nota de dos frases: el cambio surte efecto cuando los rastreadores vuelvan a leer el archivo (normalmente en un día), y si una regla de CDN o de firewall bloquea por nombre de rastreador, robots.txt por sí solo no es suficiente.