No último post, discuti a importância de prevenir conteúdo duplicado em websites, visto os problemas que podem causar perante os buscadores.
Abaixo, listo duas técnicas de exclusão de conteúdo. A primeira é utilizando a tag META ROBOTS e a segunda utilizando o arquivo robots.txt
Uso da tag meta robots
Exemplo para determinados bots:
<meta name="googlebot" content="noindex, nofollow" />
<meta name="msnbot" content="noindex, nofollow" />
Exemplo para todos os bots:
<meta name="robots" content="noindex, nofollow" />
Uso do padrão de exclusão do robots.txt
Com o comando abaixo, os crawlers não irão acessar quaisquer páginas do site
Disallow: /
Com o comando abaixo, o googlebot não irá acessar determinado diretório do site:
User-agent: googlebot
Disallow: /diretorio/
Com o comando abaixo, nenhum crawler não irá acessar determinada página do site:
User-agent: *
Disallow: /arquivo.html