Google compreende o robots.txt em branco

John Mueller, do Google, disse em um tópico do Reddit que usar um arquivo robots.txt em branco ou apenas declarar que tudo é permitido seria o mesmo entendimento, não importa qual você use.

Mueller disse “Não importa” quando lhe perguntaram. Mas existe alguma diferença?


Embora Dissallow: (em branco), pareça mais eficiente. O Google também compreende da mesma forma a diretiva Allow: /.

Ele disse: “Não importa. Você também pode usar um comentário como:”

# não há diretivas para robots.txt aqui

Comente!