O Google surpreendeu ao divulgar informações sobre o Google-Safety, um crawler especial que tem como objetivo detectar e proteger contra malwares.
Designado para casos especiais, ele é capaz de fazer verificações de qualidade de páginas de anúncios móveis ou para mensagens de notificação push por meio das APIs do Google.
Esses crawlers especiais não obedecem às diretivas globais do usuário nos arquivos robots.txt que são sinalizadas com asterisco (*).
Sim, ele ignora completamente as diretrizes estabelecidas no arquivo robots.txt, que normalmente controla o acesso dos bots às páginas.
O agente de usuário do Google-Safety, identificado como “Google-Safety”, é responsável por realizar a busca por malwares em links publicamente disponíveis nas propriedades do Google.
Essa abordagem não convencional de ignorar as regras do robots.txt permite que o crawler acesse e analise páginas que poderiam ser potencialmente prejudiciais para os usuários.
A documentação completa do Google-Safety pode ser encontrada na página do Google Search Central, dedicada aos crawlers especiais.
