Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
Одмин

Google борзеет!

Рекомендованные сообщения

В общем, прилагаю скрин, а дело, собственно, вот в чем...

 

В robots.txt форума выставлено:

User-agent: *

Crawl-delay: 50

 

, однако, Гугл читает форум ежеминутно, да причем с таким напором, что сервер работает на грани падения. Как можно усмирить аппетиты Google-a помимо стандартных директив роботса?

 

post-54136-0-91783100-1428135351_thumb.jpg

Поделиться сообщением


Ссылка на сообщение

Где-то читал, что их бот игнорирует Crawl-delay. Правда это можно настроить где-то через панель Инструмента Вебмастера (сканирование - Параметры URL ?).

post-57438-0-57711500-1428139980_thumb.jpg

ну цитата из справки

Инструкции robots.txt носят рекомендательный характер

Вот, что еще пишут

Изменение скорости сканирования Google

Поделиться сообщением


Ссылка на сообщение

Виноват, не ту ссылку дал, там про скорость...

Частота сканирования

А частоту сканирования можно указать в настройках сайта:

post-57438-0-72896500-1428162725_thumb.jpg

Поделиться сообщением


Ссылка на сообщение

Crawl-delay слишком большой, врядли бот будет соблюдать такой интервал, имхо. Хотя со времен ситуация может и изменится, зависит сколько времени прошло после установки лимита.

Поделиться сообщением


Ссылка на сообщение

@siv1987, Вы хотите сказать, если Crawl-delay сделать поменьше, бот таки начнет придерживаться его значений?

Поделиться сообщением


Ссылка на сообщение

Это более реальные значения, в целом увеличить время сканирования он должен. Также попробуйте как подсказал viktar через панель вебмастера задать его.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...