Se o Google não consegue ler o Robots.txt, ele pode remover seu site da busca

De acordo com o funcionário do Google Eric Kuan – que procura auxiliar em dúvidas públicas no fórum de ajuda do Google Webmasters – o buscador pode interromper a indexação de um site caso não consiga encontrar ou verificar o conteúdo do arquivo Robots.txt, normalmente …

Google adiciona nova entrada de Halloween em seu robots.txt

Uma nova entrada descoberta pelo Blogoscoped foi adicionada ao robots.txt do Google com os seguintes dados: User-agent: zombies Disallow: /brains Para quem não entendeu a brincadeira, caso crawlers zumbis o visitassem, é para bloquear o acesso aos cérebros. Você pode ver o robots.txt no Google.