Для чего нужен сrawl-delay в robots.txt?

[razzroman]

в данном файле есть строка
Crawl-delay: 1.0
нужна ли она вообще?вроде как ни за что не отвечает или я ошибаюсь?

 

[MSE]

Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. ©wikipedia

 

[razzroman]

понял,спасибо)

 

[Akimu]

понял,спасибо)

Но распознается исключительно яндексом, гугл уведомляет что параметр не учитывается

 

[Den]

Этот параметр давно бесполезен. Яндекс от него отказался, а Гугл просто не понимает его. И Гугл и Яндекс можно ограничить непосредственно в их вебмастерах.