Para evitar que determinados diretórios de um website sej...

#Questão 147649 - Ciência da Computação, Programação, FAUEL, 2012, Prefeitura Municipal de Paranaguá - PR, Web Designer

Para evitar que determinados diretórios de um website sejam vasculhados pelos robôs (bots) de busca, o seguinte trecho de código pode ser utilizado:

User-agent: *.

Disallow: /diretorio.

Disallow: /diretorio2.

Para que as instruções sejam respeitadas pelos bots, este trecho de código deverá estar presente no arquivo:

Navegue em mais questões

{TITLE}

{CONTENT}

{TITLE}

{CONTENT}
Estude Grátis