Se o Google não consegue ler o Robots.txt, ele pode remover seu site da busca

google-robots

De acordo com o funcionário do Google Eric Kuan – que procura auxiliar em dúvidas públicas no fórum de ajuda do Google Webmasters – o buscador pode interromper a indexação de um site caso não consiga encontrar ou verificar o conteúdo do arquivo Robots.txt, normalmente presente na raiz destas páginas.


“Se o Google tem dificuldades em rastrear o arquivo robots.txt, ele vai parar de indexar o resto do seu site para evitar que ele indexe páginas que foram bloqueadas pelo arquivo. Se isso não está acontecendo com freqüência, então provavelmente é um problema que você não vai precisar se preocupar. Se isso está acontecendo com freqüência ou se você está preocupado, você deve considerar contatar seu provedor de hospedagem ou serviço para ver se eles verifiquem quaisquer questões caso ocorra algum erro de rastreamento”, disse.

Isso não significa que você precisa ter um arquivo robots.txt, pois não é algo obrigatório. Mas se o sabe Google que seu site costumava apresentá-lo e agora não pode mais acessá-lo, o Google vai parar a indexação do seu site.

Via: Search Engine Roundtable

Comente!