desenv-web-rp.com

Se não quiser definir nenhum comportamento especial, não há problema em não ter um arquivo robots.txt?

Se não quiser definir nenhum comportamento especial, não há problema em não ter um arquivo robots.txt?

Ou a falta de um pode ser prejudicial?

29
Dan Dumitru

A falta de um arquivo robots.txt não será prejudicial. No site robotstxt.org :

Para permitir que todos os robôs tenham acesso completo

Agente de usuário: *
Não permitir:

(ou apenas crie um arquivo "/robots.txt" vazio ou não use nenhum)

No entanto, mesmo que você não esteja especificando nada no seu arquivo robots.txt, é uma boa maneira de informar os mecanismos de pesquisa sobre a localização do seu Sitemap XML . Você pode fazer isso adicionando uma linha na parte superior do arquivo robots.txt que se parece com:

Mapa do site: http://www.example.com/sitemap-Host1.xml

Você também deve estar ciente de que não tê-lo criará muitas entradas 404 nos seus logs da web.

30
JasonBirch

Se você não tiver um "robots.txt", seu log de erros receberá muitos 404s no arquivo, o que pode ser uma espécie de aborrecimento, semelhante a se você não tiver um favicon.

21
delete

Eu acho que have estaria OK, caso contrário, grandes extensões da web não seriam indexáveis ​​pelas aranhas da web.

Nenhum robots.txt é o mesmo que um "permitir indexação por todos" robots.txt quase por definição.

6
Jeff Atwood

A falta de um arquivo robots.txt deixa ao rastreador decidir o que pode ou não fazer. Como leva apenas alguns segundos para evitar qualquer tipo de ambiguidade, por que não fazer uma que permita que todos os agentes acessem tudo?

2
Tim Post

Bem, como robots.txt contém o endereço do seu sitemap , não ter um é potencialmente prejudicial.

0
Thomas Bonini

Dependendo do seu conteúdo, não haverá problemas em não ter um arquivo de robôs, desde que você tenha todas as páginas do seu site indexadas pelos mecanismos de pesquisa.

0
seanl