Preencha antes de enviar
[URL do site][hospedagem Opus Growth ou WordPress]
Use minha conexão com o Opus Growth para isso. Se você não encontrar a ferramenta de que precisa, procure entre as ferramentas do Opus Growth (com search_tools, se estiver na sua lista); se não conseguir acessar as ferramentas de forma alguma, não adivinhe, me avise.
Refaça o robots.txt do meu site [URL do site] com base em uma política deliberada para crawlers de IA. Tipo de site: [hospedagem Opus Growth ou WordPress]. Minha preferência: [A: aberto a todos / B: busca aberta, treinamento fechado / C: personalizada, explique].
1. Leia o estado atual. Leia [URL do site]/robots.txt com site_read_url. Se o site estiver na hospedagem Opus Growth, leia também o robots.txt com site_read_file e confirme que corresponde ao que está no ar. Se for WordPress, descubra qual plugin de SEO o gerencia com wordpress_seo e verifique com wordpress_snippet action='list' se algum snippet já mexe no robots.txt. Liste cada grupo de regras existente, cada linha Disallow e cada linha Sitemap.
2. Explique os papéis. Separe os crawlers em três grupos e me diga em uma frase cada o que eu perco ou ganho:
1. Busca e citação: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot, Googlebot, Applebot. Bloquear esses crawlers impede que o site seja citado como fonte nas respostas desse assistente.
2. Acesso ao vivo em nome de um usuário: ChatGPT-User, Claude-User, Perplexity-User. Eles chegam quando um usuário compartilha meu link ou o assistente abre uma página para responder. Segundo a documentação dos provedores, o robots.txt pode não se aplicar em todos os casos a essas solicitações iniciadas pelo usuário, então diga que uma regra aqui não é garantia.
3. Treinamento de modelos: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent. Bloquear esses crawlers limita o uso do conteúdo em treinamentos futuros, mas não remove conteúdo de modelos já treinados. Bloquear o Google-Extended não afeta a Pesquisa Google nem as Visões Gerais criadas por IA.
3. Escreva o rascunho. Prepare o novo robots.txt para a minha preferência e siga estas regras:
1. Quando você escreve um grupo com o nome próprio de um crawler, esse crawler deixa de ler o grupo `User-agent: *`. Então copie todas as linhas Disallow do grupo * (área administrativa, carrinho, resultados de busca interna e assim por diante) para cada grupo nomeado, caso contrário você abrirá áreas privadas sem perceber.
2. Não bloqueie arquivos CSS, JavaScript ou de imagem, porque os crawlers precisam deles para renderizar a página.
3. Mantenha as linhas Sitemap existentes e adicione a URL completa do sitemap se estiver faltando.
4. Não bloqueie nenhum crawler de busca, a menos que eu peça explicitamente.
5. Deixe em paz os crawlers de SEO de concorrentes (como AhrefsBot e SemrushBot), a menos que eu peça, pois estão fora do escopo deste trabalho.
4. Mostre uma prévia. Compare o arquivo antigo e o novo linha a linha e mostre uma tabela com a decisão antes e depois para cada crawler: crawler, papel, decisão antiga, decisão nova. Espere minha aprovação.
5. Aplique após a aprovação.
1. Site hospedado: grave o robots.txt com site_write_file. A plataforma tira um snapshot de versão antes de cada gravação, então me diga a qual versão de site_versions posso voltar.
2. WordPress: quando não existe um arquivo físico no servidor, o WordPress gera o robots.txt por conta própria e o filtro `robots_txt` pode alterá-lo. Crie um snippet PHP com wordpress_snippet que use esse filtro, localização 'everywhere'. O snippet é criado inativo, então mostre o código e ative-o somente depois da minha aprovação. Se houver um plugin de cache ativo, limpe o cache com wordpress_purge_cache.
6. Leia de volta. Leia o robots.txt novamente com site_read_url e mostre que o novo conteúdo está no ar. No WordPress, se o conteúdo não mudou, existe um arquivo robots.txt físico no servidor e o filtro não consegue alcançá-lo. Nesse caso, desative o snippet e me oriente a alterar o arquivo no editor de arquivos do plugin de SEO (Yoast: Ferramentas, Editor de arquivos; Rank Math: Configurações gerais, Editar robots.txt) ou no painel da hospedagem.
Termine com uma nota de duas frases: a alteração passa a valer quando os crawlers relerem o arquivo (geralmente em até um dia), e se uma regra de CDN ou firewall bloqueia pelo nome do crawler, o robots.txt sozinho não basta.
Exemplo de resultado
Um exemplo do resultado que este prompt gera. A estrutura vem da saída real das ferramentas; os números e nomes são fictícios.
Exemplo de saída (baseado em um site fictício, não em dados reais de clientes)
O arquivo atual tem dois grupos: User-agent: * (Disallow: /panel/, /cart/) e User-agent: GPTBot (Disallow: /). Sua preferência é B: busca aberta, treinamento fechado.
| Crawler | Papel | Decisão antiga | Decisão nova |
|---|
| OAI-SearchBot | Busca | Permitido | Permitido |
| Claude-SearchBot | Busca | Permitido | Permitido |
| PerplexityBot | Busca | Permitido | Permitido |
| ChatGPT-User | Acesso do usuário | Permitido | Permitido |
| GPTBot | Treinamento | Bloqueado | Bloqueado |
| ClaudeBot | Treinamento | Permitido | Bloqueado |
| Google-Extended | Treinamento | Permitido | Bloqueado |
| CCBot | Treinamento | Permitido | Bloqueado |
Observação: o grupo antigo do GPTBot não repetia as linhas /panel/ e /cart/. Isso era inofensivo ali porque o grupo bloqueava o site inteiro, mas no novo arquivo as duas linhas são escritas em todos os grupos nomeados.
Após sua aprovação, o robots.txt foi gravado com site_write_file. O site_read_url leu o arquivo no ar, retornou 200 e mostra o novo conteúdo. Para reverter, a versão das 14:02 em site_versions guarda o arquivo antigo.
Observação: os crawlers geralmente releem o arquivo em até um dia. Se uma regra de firewall bloqueia pelo nome do crawler, o robots.txt sozinho não basta.