Robots txt: O que é e Como criar um?

O arquivo robots.txt é tão importante para a otimização On Page de um site quanto para a definição do que deve ou não ser indexado pelos mecanismos de buscas.

Em certos sites é muito indicado ter um “robots”, mas em outros se torna desnecessário.

Neste artigo, você vai entender como criar um arquivo para seu site, mas antes vou ter explicar o que é e porque você precisa de um.

 

Porque você deve entender como funciona o robots.txt?

  • O uso impróprio do “robots exclusion protocol (REP)”, ou robots, pode interferir no ranqueamento de um site inteiro, na pesquisa orgânica
  • Este arquivo é mencionado várias vezes nas diretrizes do Google

 

O que é um robots.txt?

Esse é um arquivo que deve ser inserido na raiz do servidor de hospedagem com o objetivo de mostrar aos algoritmos de indexação o que ele deve rastrear e indexar e o que não deve.

Se houver diretórios, arquivos ou pastas que você não quer que seja indexado pelo Google, é possível criar um arquivo e bloquear a indexação.

No WordPress, por exemplo, é essencial bloquear a indexação da pasta “wp-admin”, mas não é necessário bloquear a wp-content, como você pode ver na imagem abaixo.

Como criar um robots.txt

 

O que um “Robots” faz, de fato?

Robots exclusion protocol, ou REP, ou simplesmente robots, é um arquivo que pode ser criado no bloco de notas, onde são armazenadas informações sobre quais páginas e arquivos devem ou não ser indexadas pelos mecanismos de buscas.

Essas informações permitem que os algoritmos acessem um site e mostrem as páginas na pesquisa, ou bloqueiam a indexação de uma única página ou do site inteiro.

Para saber se um site possui um robots.txt, basta acessar o arquivo utilizando esta “fórmula”: site.com.br/robots.txt.

 

Como saber se você precisa de um?

Você pode não precisar de um arquivo REP em seu site.
Na verdade, isso acontece com muita frequência.

 

Razões para ter um Robots

  • Você tem uma área de membros que não pode ser indexada
  • Você ainda está construindo o site e não quer que ele seja indexado antes de ficar pronto
  • Você tem arquivos, diretórios ou pastas que não devem ser indexadas

 

Razões para não ter um Robots

  • Você não precisa bloquear arquivos, diretórios ou pastas
  •  Você já fez o bloqueio pelo painel de controle do servidor de hospedagem

Quando um site não possui um arquivo REP, os robôs de buscas vasculham e tentam indexar todos os arquivos e diretórios do site.

 

Aprenda a criar um Robots.txt

Vou te passar algumas dicas sobre como criar um, mas eu tenho um arquivo pronto que eu posso te enviar. Basta você mandar e-mail para [email protected] e solicitar o arquivo.

 

> Permitindo a indexação de todo o site

Crie um arquivo no “bloco de notas” e insira o seguinte código para liberar a indexação de todas as páginas, arquivos e diretórios de um site.

User-agent:*
Disallow:

 

> Bloqueando a indexação de todo o site

Para impedir que o site inteiro seja indexado, substitua o código acima por este abaixo, mas tome muito cuidado. Com este código, nenhuma página de seu site aparecerá na busca orgânica.

User-agent: *
Disallow: /

 

Entenda os significados dos termos acima

User-agent:
O “User-agent:” é utilizado para especificar uma ordem a um robô específico ou para todos.

Exemplo:
User-agent: *
Com este código, as instruções serão aplicadas a todos os robôs de indexação (Google, Bing, Yahoo….).

User-agent: Googlebot
Com este código, as instruções serão aplicadas somente ao robô de indexação do Google.

 

Bloquear um diretório específico

Digamos que você queira bloquear uma pasta com fotos que está no servidor. Para isso, você poderá utilizar o código abaixo como modelo.

User-agent: *
Disallow: /fotos
> O código acima permite aos robôs indexarem todo o conteúdo do site, menos o conteúdo da pasta “Fotos”.

User-agent: Googlebot
Disallow: /fotos/foto1.jpg
O código acima permite aos robôs indexarem todo o conteúdo do site, menos a “foto1.jpg”, que se encontra na pasta “Fotos”. Porém, todas as outras fotos desta pasta serão indexadas.

Para mais informações, acesse este tutorial do Google.

 

Testando o seu arquivo

Para saber se o seu arquivo está impedindo alguma página importante de ser indexada, utilize esta ferramenta.

É muito fácil fazer o teste.

  1. Acesse a ferramenta
  2. Coloque a url de seu site
  3. Clique em “Go”
  4. Role até o fim da página, onde está escrito “Google Access / Robots.txt”

teste de robots.txt.

O resultado deve ser parecido com o da imagem acima.
Se você estiver bloqueando uma página importante, haverá um aviso em vermelho.


Se precisar de ajuda, deixa um comentário aqui embaixo que eu te envio um arquivo pronto.


 

Bom… agora que eu te ajudei a criar o seu Robots.txt. Compartilha este artigo com seus amigos do Facebook. Pode ser?

 

Comentários

Comentários

Rafael Torres

>> Além de Empreendedor e Profissional de SEO, Rafael Torres é formado em Web Design pela UCB/RJ e possui mais de 6 anos de experiência em Mkt Digital e Offline. Whatsapp: (21) 99279-2423

Related Posts