Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...

Recommended Posts

В общем, прилагаю скрин, а дело, собственно, вот в чем...

 

В robots.txt форума выставлено:

User-agent: *

Crawl-delay: 50

 

, однако, Гугл читает форум ежеминутно, да причем с таким напором, что сервер работает на грани падения. Как можно усмирить аппетиты Google-a помимо стандартных директив роботса?

 

post-54136-0-91783100-1428135351_thumb.jpg

Share this post


Link to post
Share on other sites

Где-то читал, что их бот игнорирует Crawl-delay. Правда это можно настроить где-то через панель Инструмента Вебмастера (сканирование - Параметры URL ?).

post-57438-0-57711500-1428139980_thumb.jpg

ну цитата из справки

Инструкции robots.txt носят рекомендательный характер

Вот, что еще пишут

Изменение скорости сканирования Google

Share this post


Link to post
Share on other sites

Виноват, не ту ссылку дал, там про скорость...

Частота сканирования

А частоту сканирования можно указать в настройках сайта:

post-57438-0-72896500-1428162725_thumb.jpg

Share this post


Link to post
Share on other sites

Crawl-delay слишком большой, врядли бот будет соблюдать такой интервал, имхо. Хотя со времен ситуация может и изменится, зависит сколько времени прошло после установки лимита.

Share this post


Link to post
Share on other sites

@siv1987, Вы хотите сказать, если Crawl-delay сделать поменьше, бот таки начнет придерживаться его значений?

Share this post


Link to post
Share on other sites

Это более реальные значения, в целом увеличить время сканирования он должен. Также попробуйте как подсказал viktar через панель вебмастера задать его.

  • Upvote 1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...