robots.txt e bots de IA: o que permitir e o que bloquear no seu site
Guia prático para decidir quais bots de IA deixar entrar no seu site com o robots.txt: OAI-SearchBot, GPTBot, Google-Extended e Cloudflare, sem perder visibilidade.
Numa segunda-feira você abre o ChatGPT e, quando pergunta sobre o seu tipo de negócio na sua cidade, aparecem três concorrentes e você não. Você abre o seu arquivo robots.txt e encontra uma linha que alguém colocou há um ano: “bloquear toda a IA”. Com boa intenção, fechou a porta justamente para quem podia recomendar você.
A solução é distinguir o que cada bot faz e decidir um por um. Veja como.
Todos os bots de IA fazem a mesma coisa?
Não: alguns buscam para mostrar seu site nas respostas e outros coletam conteúdo para treinar modelos. Segundo a documentação da OpenAI, o OAI-SearchBot serve para que os sites apareçam nos recursos de busca do ChatGPT, o GPTBot rastreia conteúdo que pode ser usado para treinar seus modelos, e o ChatGPT-User age quando uma pessoa pede para visitar uma página.
Essa diferença é a base da decisão: você pode querer aparecer nas respostas (busca) e, ao mesmo tempo, não contribuir com conteúdo para o treinamento.
O que acontece se eu bloquear cada bot?
Cada bloqueio tem um efeito diferente, e só um tira você das respostas de busca. Isto é o que dizem as fontes oficiais:
| Bot ou token | Para que serve | Se você bloquear |
|---|---|---|
| OAI-SearchBot | Busca no ChatGPT | Seu site não aparece nas respostas de busca do ChatGPT |
| GPTBot | Treinamento de modelos da OpenAI | Você indica que seu conteúdo não deve ser usado para treinamento |
| ChatGPT-User | Ações solicitadas por uma pessoa | A OpenAI esclarece que o robots.txt pode não se aplicar |
| Google-Extended | Controle do uso de IA do Google (Gemini) | Não afeta sua inclusão nem seu ranqueamento na Pesquisa Google |
Sobre a última linha, o Google explica assim: o Google-Extended é um token de controle, não um rastreador de busca, e não é usado como sinal de ranqueamento.
Erro comum: colar uma regra genérica de “bloquear IA” copiada de um fórum. Se ela incluir o OAI-SearchBot, você deixa de aparecer na busca do ChatGPT sem perceber.
Como é um robots.txt equilibrado?
Um robots.txt equilibrado permite os bots de busca e decide separadamente sobre o treinamento. Um exemplo para quem quer aparecer nas respostas, mas não treinar modelos:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Decidir se você bloqueia ou não o treinamento é uma decisão de negócio: se você vive do seu conteúdo original, talvez queira protegê-lo; se busca visibilidade máxima, pode permitir. O que você não deve fazer é misturar as duas coisas sem saber. Se quer entender por que aparecer nessas respostas importa, leia o que é GEO.
Quanto tempo leva para a mudança ser aplicada?
Para a busca do ChatGPT, pode levar cerca de 24 horas. A OpenAI informa isso na documentação: depois de atualizar o robots.txt, os sistemas dela precisam desse tempo para se ajustar. Publique a mudança, verifique se tudominio.com/robots.txt mostra o arquivo novo e espere um dia antes de concluir que algo falhou.
Se você também acabou de lançar ou mudar seu site, revise o que fazer com o Search Console e o sitemap para que o Google encontre tudo.
O que faço se eu realmente precisar bloquear?
Use uma camada de segurança na frente do seu site, como a Cloudflare. O robots.txt é um pedido que os rastreadores responsáveis respeitam, não uma barreira. Segundo a documentação da Cloudflare, em Security Settings você pode configurar políticas de bots de IA por categoria (busca, agente e treinamento) e escolher bloquear, bloquear apenas em páginas com anúncios ou permitir.
A Cloudflare também informa que, desde 15 de setembro de 2026, os domínios novos bloqueiam por padrão os bots de treinamento e de agente em páginas com anúncios, e permitem os de busca. Revise as configurações do seu domínio e, se ainda não conhece a ferramenta, veja o que o plano gratuito da Cloudflare inclui.
Em resumo
Voltando à segunda-feira: o que tirou seu negócio do ChatGPT pode ter sido uma única linha herdada. Separe busca de treinamento, escreva uma regra por bot e verifique o resultado depois de um dia. Se quiser que revisemos seu robots.txt e sua estratégia de visibilidade em IA, conheça nosso serviço de SEO e GEO para IA.
Perguntas frequentes
Se eu bloquear o GPTBot, deixo de aparecer no ChatGPT?
Não necessariamente. Segundo a OpenAI, bloquear o GPTBot indica que seu conteúdo não deve ser usado para treinar modelos. Aparecer na busca do ChatGPT depende do OAI-SearchBot.
O Google-Extended afeta minha posição no Google?
Não. O Google informa que o Google-Extended não afeta a inclusão de um site na Pesquisa Google nem é usado como sinal de ranqueamento.
Quanto tempo leva para uma mudança no robots.txt ser aplicada?
A OpenAI informa que, para os resultados de busca, pode levar cerca de 24 horas após a atualização do robots.txt.
O robots.txt obriga os bots a obedecer?
É um sinal que os rastreadores responsáveis respeitam. Para bloquear de forma ativa, existem ferramentas como as políticas de bots da Cloudflare.
Não fique só na teoria: aplique no seu negócio
Implementamos SEO e GEO com IA de ponta a ponta, com a sua operação real. A primeira conversa não tem custo.
