Editor de Robots.txt
Gere e teste arquivos robots.txt. Configure regras de crawling e teste se URLs seriam bloqueadas.
O que é Editor de Robots.txt?
O humberto.ai oferece um editor de robots.txt que gera e testa o arquivo direto no navegador. Na aba Gerar, você monta regras de User-Agent, Allow/Disallow, Crawl-delay e Sitemap, depois copia ou baixa o robots.txt pronto. Na aba Testar, cola um robots.txt existente e verifica se uma URL específica seria permitida ou bloqueada, seguindo a regra mais específica. Tudo roda localmente no navegador — nada é enviado a servidores.
Como usar
- Escolha a aba "Gerar" para criar um robots.txt do zero ou "Testar" para validar um arquivo existente.
- Na aba Gerar, defina o User-Agent (padrão "*"), adicione ou remova regras Allow/Disallow com seus caminhos, e opcionalmente informe Crawl-delay e a URL do Sitemap.
- Clique em "Gerar robots.txt" para montar o arquivo e depois use "Copiar" ou "Baixar" para salvar o robots.txt gerado.
- Na aba Testar, cole o conteúdo do robots.txt, informe o User-Agent e a URL que quer checar, e clique em "Testar URL".
- Confira o resultado (Permitido/Bloqueado) e a regra que decidiu o caso — entre as regras dos blocos que casam com o User-Agent (o coringa "*" e o agente informado), vence a de caminho mais longo que combine com a URL.
Perguntas frequentes
Meus dados saem do navegador ao usar essa ferramenta?
Não. Tanto a geração quanto o teste do robots.txt são feitos com JavaScript local — não há upload de arquivo nem chamada a nenhum servidor do humberto.ai ou de terceiros.
Como a ferramenta decide se uma URL é permitida ou bloqueada no teste?
Ela lê os blocos "User-agent:" do texto colado, reúne as regras Allow/Disallow de todos os blocos cujo User-Agent seja "*" ou corresponda ao testado e, entre as que combinam com a URL, aplica a de caminho mais longo. Se nenhuma regra corresponder, a URL é considerada permitida por padrão.
Existe limite de regras Allow/Disallow que posso adicionar no gerador?
Não há limite fixo no código — você pode adicionar quantas regras quiser clicando em "Adicionar" e remover com o ícone de lixeira ao lado de cada uma.
O gerador valida se o robots.txt está 100% correto segundo o padrão do Google?
A ferramenta monta o arquivo com a sintaxe básica (User-agent, Allow, Disallow, Crawl-delay, Sitemap) exatamente como você preencheu os campos, mas não faz uma validação completa contra todas as regras oficiais do Google — revise o resultado antes de publicar em produção.
Como baixo o arquivo robots.txt pronto para publicar no site?
Depois de clicar em "Gerar robots.txt", use o botão "Baixar" na seção de resultado: o navegador cria o arquivo robots.txt (texto puro) via Blob e inicia o download direto, sem passar por nenhum servidor.
Posso testar um robots.txt com vários blocos de User-Agent diferentes?
Sim. O testador percorre o texto colado inteiro e combina as regras dos blocos cujo User-Agent seja "*" ou corresponda (sem diferenciar maiúsculas/minúsculas) ao User-Agent que você digitou; entre as regras que casam com a URL, a de caminho mais longo é a que decide.