John Mueller, do Google, disse em um tópico do Reddit que usar um arquivo robots.txt em branco ou apenas declarar que tudo é permitido seria o mesmo entendimento, não importa qual você use.
Mueller disse “Não importa” quando lhe perguntaram. Mas existe alguma diferença?
Embora Dissallow: (em branco), pareça mais eficiente. O Google também compreende da mesma forma a diretiva Allow: /.
Ele disse: “Não importa. Você também pode usar um comentário como:”
# não há diretivas para robots.txt aqui
