Verifique se os crawlers de IA realmente conseguem acessar e ler seu site

Use minha conexão com o Opus Growth para isso. Se você não encontrar a ferramenta de que precisa, procure entre as ferramentas do Opus Growth (com search_tools, se estiver na sua lista); se não conseguir acessar as ferramentas de forma alguma, não adivinhe, me avise. Verifique se o meu site [URL do site] consegue entregar conteúdo para buscas com IA, como ChatGPT, Claude, Perplexity, Gemini e Copilot. Minha propriedade do Search Console é [propriedade do Search Console, ou "nenhuma"]. Minhas páginas mais importantes são: [5 a 10 URLs de páginas]. Esta é uma auditoria somente leitura, não altere nada. 1. robots.txt. Leia [URL do site]/robots.txt com site_read_url e anote o código de status. Se o arquivo retornar 5xx ou entrar em loop de redirecionamentos, avise logo no início que os rastreadores podem não conseguir rastrear o site de forma alguma. Depois, descubra qual grupo de regras se aplica a cada um destes rastreadores e se minhas páginas principais estão permitidas: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot, Perplexity-User, Googlebot, Google-Extended, Bingbot, Applebot, Applebot-Extended, CCBot, meta-externalagent. Quando um rastreador tem um grupo com o próprio nome, só esse grupo vale e as regras de `User-agent: *` não valem, então leve isso em conta. 2. Classifique os rastreadores por função. Os que rastreiam para busca e citações são OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot e Googlebot. Os que buscam uma página em tempo real quando um usuário faz uma pergunta são ChatGPT-User, Claude-User e Perplexity-User. Os que coletam dados de treinamento são GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e meta-externalagent. Sinalize qualquer rastreador de busca bloqueado com a severidade mais alta, porque o site não pode ser citado nas respostas desse assistente. Não trate um rastreador de treinamento bloqueado como erro, descreva como uma escolha. Observe que o Google-Extended não afeta a Pesquisa Google nem as AI Overviews e controla apenas se o conteúdo é usado pelos modelos Gemini. 3. Códigos de status e cabeçalhos. Leia cada página principal com site_read_url e max_bytes=0. Informe apenas o código de status, a cadeia de redirecionamentos (redirects), os cabeçalhos `x-robots-tag` e `content-type` e o valor de `server`, não o despejo completo dos cabeçalhos. Sinalize cadeias de redirecionamento com mais de dois saltos, uma URL final diferente da canônica e qualquer cabeçalho noindex ou nosnippet. Se uma página retornar 403, 429 ou 503 e o valor de server indicar uma camada de proteção como Cloudflare, Sucuri ou Akamai, diga que pode ser um bloqueio de bots. 4. Conteúdo sem JavaScript. Leia as páginas principais com site_read_url e text=true. Essa visão é extraída do HTML que o servidor envia, que é o que um rastreador de IA que não executa JavaScript enxerga. Se a resposta indicar truncated como true, leia a página de novo com max_bytes=1000000, caso contrário você vai achar que falta conteúdo no final da página. Para cada página, diga se o H1, o primeiro parágrafo do conteúdo principal, os detalhes de preço ou serviço e os dados de contato estão nesse texto, e se internal_links contém links para as páginas do menu principal. 5. Conteúdo com JavaScript. Meça as três páginas mais importantes com seo_technical_audit, que renderiza a página com JavaScript. Sinalize separadamente qualquer página em que o título, o H1 ou o idioma sejam diferentes entre as duas visões. Uma diferença de idioma geralmente vem de um redirecionamento automático baseado no país ou no idioma do navegador do visitante e, como a maioria dos rastreadores de IA vem de servidores nos Estados Unidos, isso pode fazer com que eles vejam a versão de idioma errada. 6. O que o Google enxerga. Se eu tiver uma propriedade do Search Console, inspecione as páginas principais em uma única chamada de gsc_inspect_urls: estado de cobertura, data do último rastreamento e canônica escolhida pelo Google. Liste qualquer página principal bloqueada pelo robots.txt ou exibida como "Rastreada, mas não indexada no momento". Liste os sitemaps enviados, com seus avisos e erros, usando gsc_sitemaps. 7. Arquivos de descoberta. Leia sitemap.xml e llms.txt com site_read_url. Verifique se minhas páginas principais estão no sitemap e se os valores de lastmod parecem reais, e avise se todas as URLs tiverem a mesma data. Se o llms.txt não existir, registre como uma lacuna, mas não crítica, porque nenhum dos principais mecanismos de busca com IA afirmou oficialmente que usa esse arquivo como sinal de ranqueamento ou citação. Explique com clareza os limites das ferramentas. site_read_url envia a requisição como um navegador e não consegue se passar por GPTBot ou ClaudeBot, então uma regra de firewall que bloqueia apenas pelo nome do rastreador não aparecerá nesta auditoria. Se eu uso um CDN ou firewall, lembre-me de verificar no painel dele uma configuração que bloqueie rastreadores de IA (no Cloudflare, "AI Crawl Control" ou "Block AI bots"). Se o site estiver hospedado na Opus Growth, não me envie a nenhum painel de CDN e, se você identificar um bloqueio, sugira reportá-lo com report_issue. Formate a saída assim. Primeiro, um resumo de três frases: meu site está aberto para a busca com IA e, se não estiver, qual é o maior bloqueio. Depois, uma tabela de rastreadores: rastreador, função, decisão do robots.txt, a linha de regra que decide, severidade. Depois, uma tabela de páginas: URL, código de status, redirecionamentos, x-robots-tag, H1 e primeiro parágrafo no texto sem JavaScript (sim ou não), diferença em relação à visão com JavaScript, estado de cobertura no Google. Termine com uma lista de correções ordenada por severidade, cada uma com sua evidência e quem deve executá-la (eu, um desenvolvedor, o provedor de hospedagem). Quando os dados não forem suficientes para uma conclusão, não adivinhe, diga o que está faltando.