Jump to content

Recommended Posts

В общем, прилагаю скрин, а дело, собственно, вот в чем...

 

В robots.txt форума выставлено:

User-agent: *

Crawl-delay: 50

 

, однако, Гугл читает форум ежеминутно, да причем с таким напором, что сервер работает на грани падения. Как можно усмирить аппетиты Google-a помимо стандартных директив роботса?

 

post-54136-0-91783100-1428135351_thumb.jpg

Link to comment
Share on other sites

Где-то читал, что их бот игнорирует Crawl-delay. Правда это можно настроить где-то через панель Инструмента Вебмастера (сканирование - Параметры URL ?).

post-57438-0-57711500-1428139980_thumb.jpg

ну цитата из справки

Инструкции robots.txt носят рекомендательный характер

Вот, что еще пишут

Изменение скорости сканирования Google

Link to comment
Share on other sites

Crawl-delay слишком большой, врядли бот будет соблюдать такой интервал, имхо. Хотя со времен ситуация может и изменится, зависит сколько времени прошло после установки лимита.

Link to comment
Share on other sites

Это более реальные значения, в целом увеличить время сканирования он должен. Также попробуйте как подсказал viktar через панель вебмастера задать его.

  • Upvote 1
Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...