Se o Google não consegue ler o Robots.txt, ele pode remover seu site da busca

De acordo com o funcionário do Google Eric Kuan – que procura auxiliar em dúvidas públicas no fórum de ajuda do Google Webmasters – o buscador pode interromper a indexação de um site caso não consiga encontrar ou verificar o conteúdo do arquivo Robots.txt, normalmente …