Боты ставят рекорды посещаемости, как с этим бороться?

[wick 2]

Добрый день, подскажите как бороться с этой проблемой, периодами боты гугл, яндекс наваливаются и создают онлайн более 1000, как сделать что бы они не учитывались в статистику?

[siv1987 2628]

1000 сессий это довольно много. Crawl-delay может помочь ограничить время между сканированием следующей страницы. Да и в целом, нужно настроить роботс что-бы боты не шарили по служебным страницам коих очень много на форуме, а не добавлять там всякие лолы типа Disallow: /conf_global.php и тп.

 

Раньше сессия ботов привязывалась к ип адресу. Сейчас каждый запрос бота имеет свою отдельную сессию в базе данных. Сделано это наверное для того, чтобы снизить нагрузку на таблицу сессии и более точной статистики. Так, что если поисковой бот будет активно сканировать форум, все его сессии, все что он запрашивал за послелние 15 минут будет отображаться в статистике.

[Атаман 463]

Возможно влияет на это смена ЧПУ Вашего форума. (скоро всё утихомирится).

[siv1987 2628]

Для начала запретить индексировать календарь.

 

Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь

 

Две и более сессии для одной темы скорее всего означает что бот ходит по ссылкам "на сообщение". findpost запретить.

 

Google 	 Читает тему:    Куплю барбуса редких пород
Google 	 Читает тему:    Куплю барбуса редких пород

[wick 2]

понял, подожду день-два, если не угомониться, буду усмирять )

[siv1987 2628]

inurl:findpost

Результатов: примерно 6 650

 

inurl:calendar

Результатов: примерно 21 200

 

~20K мусора в индексе. По моему здесь уже больше ждать нечего.

[wick 2]

как закрыть их от поиска?

[siv1987 2628]

Зависит от того какой тип ссылок на форуме используется. В вашем случае это будут выглядеть так:

Disallow: /calendar/
Disallow: /*?app=calendar

Для запрета findpost-ов:

Disallow: /*&view=findpost

 

Остальные дубли и ненужные страницы смотрим в логах посещений поисковых ботов.

[wick 2]

спасибо!

[wick 2]

в 21:00 прописал запрет в роботс, но чёт как то им по барабану, всё равно ходят на календарь

[siv1987 2628]

в 21:00 прописал запрет в роботс

Ждите. robots.txt кешируется ботами, он не запрашивается при каждом запросе на сайте. Через пару часов (плюс - минус) боты загрузят новый роботс.