robots.txt: guia completo de configuração

O que é robots.txt e para que serve?

O robots.txt é simplesmente um arquivo hospedado na raiz do seu site que permite impedir que determinados bots (como os do Google ou Bing) visitem seu site ou partes dele.

ATENÇÃO: é importante saber que isso é um protocolo e como regra geral todos os bots „bons" o respeitam (GoogleBot, BingBot, Semrush, ...) mas qualquer bot mal-intencionado pode ignorá-lo, como o Screaming Frog marcando esta opção:

Por que o arquivo robots.txt é importante para o SEO?

Como mencionamos antes, todos os bots bons (como o GoogleBot) seguem este protocolo, então o que podemos fazer é usar este arquivo para guiar o Google pelo nosso site.

Como assim? O que você quer dizer? Guiar o Google com o robots.txt?

Sim, não se preocupe, vamos explicar com um exemplo para ficar bem mais claro:

Imagine que no seu site você tem uma área privada que apenas usuários registrados podem acessar, e como bem sabemos, o Google não consegue acessar nenhum site que exija login (ainda...).

Então, não faria sentido que o Google não desperdiçasse nosso crawl budget rastreando páginas que não têm valor para ele?

Exato! Um dos usos mais importantes do robots.txt é bloquear caminhos que têm pouco valor para o Google e, assim, fazer com que ele se concentre nas páginas importantes do nosso site. Por isso, o robots.txt deve ser um dos pilares a manter em mente na nossa estratégia de SEO.

Este é apenas um exemplo entre os milhares de coisas que podemos fazer com este arquivo. Outros exemplos incluem indicar nosso sitemap, reduzir o intervalo de rastreamento, bloquear o rastreamento de recursos, ...

Como criar o arquivo robots.txt

Bem... mãos à obra!

Criar este arquivo é realmente simples: basta pegar seu editor de texto (Bloco de Notas no Windows ou TextEdit no Mac) ou usar um online e depois de redigir seu robots.txt, exportá-lo como arquivo txt.

Quando o tivermos, basta nomeá-lo „robots.txt" e enviá-lo à raiz do seu site através do painel do servidor ou via FTP.

Para verificar se foi enviado corretamente, basta adicionar „/robots.txt" ao seu domínio, por exemplo https://seocrawl.com/robots.txt

ATENÇÃO: Cuidado com o cache, é melhor visualizá-lo em modo anônimo ;)

E se eu tiver WordPress?

Se você tem WordPress é mais simples porque os melhores plugins de SEO como Rank Math ou Yoast vêm com um add-on integrado para editar o robots.txt diretamente.

No caso do Rank Math você vai encontrá-lo em Rank Math > General Settings > Edit robots.txt

No caso do Yoast precisaremos ir em SEO > Tools > File Editor

Assim você pode facilmente editar ou criar o arquivo sem precisar realizar nenhuma das etapas explicadas acima.

Comandos

A seguir, vamos dar uma olhada em muitos dos comandos disponíveis junto com seus exemplos correspondentes:

Bloquear o rastreamento do seu site

User-agent: * Disallow: /

NOTA: Se você está desenvolvendo seu site e não quer que nenhum bot entre, leia e indexe seu conteúdo, esta regra funciona muito bem.

Bloquear o rastreamento de uma página

User-agent: * Disallow: /url-da-pagina-que-nao-quero-rastrear

Bloquear o rastreamento de uma pasta

User-agent: * Disallow: /pasta/

Permitir acesso a uma página

User-agent: * Allow: /pagina

Bloquear uma pasta e permitir uma página dessa pasta

User-agent: * Disallow: /pasta/ Allow: /pasta/pagina

Indicar o sitemap

Sitemap: https://domain.com/sitemap.xml

Dar ordens a bots específicos

Neste caso vamos nos deter um pouco mais. Se você reparou, a maioria das diretivas anteriores começava com:

User-agent: *

Esse „*" se refere a todos os bots. Ou seja, todas as diretivas após essa linha aplicam-se a todos os bots. Se queremos enviar ordens específicas a determinados bots, precisamos alterar isso da seguinte forma:

User-agent: Googlebot Se queremos nos referir ao bot do Google

User-agent: Bingbot Se queremos nos referir ao bot do Bing

User-agent: DuckDuckBot Se queremos nos referir ao bot do DuckDuckGo

Tudo o que você precisa fazer é descobrir o nome do bot ao qual quer enviar uma ordem e nomeá-lo como acabamos de mostrar.

Revisar e testar o arquivo robots.txt

Agora que você terminou de „tunar" seu robots para deixá-lo totalmente otimizado e personalizado para seu site, só falta testá-lo.

Testar? Para quê?

Bem, testar para garantir que não erramos em nenhuma linha e que está funcionando de verdade para bloquear as partes do site que queremos bloquear.

Para isso recomendamos usar esta ferramenta.

Uma vez dentro basta:

• ›

  Inserir a URL para a qual você quer verificar se o rastreamento é permitido

• ›

  Escolher o User Agent

• ›

  Clicar em TEST

Imediatamente depois, todo o nosso arquivo robots.txt será carregado e abaixo nos dirá se o acesso é permitido ou não.

Neste caso, como podemos ver, dá-nos um resultado positivo, mas se inseríssemos uma URL não permitida, também destacaria a linha que a bloqueia:

Além disso, esta ferramenta nos permite editar nosso arquivo robots.txt diretamente dali para fazer as modificações que precisarmos para que o resultado corresponda ao nosso objetivo. Uma vez modificado e testado, basta aplicar essas novas modificações ao nosso robots.

Dica bônus: torne seu robots.txt inesquecível

Mostramos uma tonelada de linhas de código que funcionam para bots, mas você também pode inserir comentários iniciando a linha com „#". Ou seja, tudo o que começar com „#" será ignorado pelos bots. Isso abre um mundo de possibilidades e piadas internas. Por isso encorajamos você a dar uma olhada no robots.txt de windupschool, pccomponentes ou Minube, com certeza encontrará uma surpresa.

Conclusão

Como você viu, o arquivo robots.txt tem muito a oferecer e também requer muito cuidado porque uma diretiva mal colocada pode bloquear o rastreamento do seu site.

Esperamos que este guia seja útil para você e, para qualquer dúvida, nos vemos nos comentários.