В общем, прилагаю скрин, а дело, собственно, вот в чем...

 

В robots.txt форума выставлено:

User-agent: *

Crawl-delay: 50

 

, однако, Гугл читает форум ежеминутно, да причем с таким напором, что сервер работает на грани падения. Как можно усмирить аппетиты Google-a помимо стандартных директив роботса?

 

Где-то читал, что их бот игнорирует Crawl-delay. Правда это можно настроить где-то через панель Инструмента Вебмастера (сканирование - Параметры URL ?).

ну цитата из справки

Инструкции robots.txt носят рекомендательный характер

Вот, что еще пишут

Изменение скорости сканирования Google

Виноват, не ту ссылку дал, там про скорость...

Частота сканирования

А частоту сканирования можно указать в настройках сайта:

Crawl-delay слишком большой, врядли бот будет соблюдать такой интервал, имхо. Хотя со времен ситуация может и изменится, зависит сколько времени прошло после установки лимита.

@siv1987, Вы хотите сказать, если Crawl-delay сделать поменьше, бот таки начнет придерживаться его значений?

Это более реальные значения, в целом увеличить время сканирования он должен. Также попробуйте как подсказал viktar через панель вебмастера задать его.