Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
wick

Боты ставят рекорды посещаемости, как с этим бороться?

Recommended Posts

Добрый день, подскажите как бороться с этой проблемой, периодами боты гугл, яндекс наваливаются и создают онлайн более 1000, как сделать что бы они не учитывались в статистику?

Share this post


Link to post
Share on other sites

1000 сессий это довольно много. Crawl-delay может помочь ограничить время между сканированием следующей страницы. Да и в целом, нужно настроить роботс что-бы боты не шарили по служебным страницам коих очень много на форуме, а не добавлять там всякие лолы типа Disallow: /conf_global.php и тп.

 

Раньше сессия ботов привязывалась к ип адресу. Сейчас каждый запрос бота имеет свою отдельную сессию в базе данных. Сделано это наверное для того, чтобы снизить нагрузку на таблицу сессии и более точной статистики. Так, что если поисковой бот будет активно сканировать форум, все его сессии, все что он запрашивал за послелние 15 минут будет отображаться в статистике.

Share this post


Link to post
Share on other sites

Возможно влияет на это смена ЧПУ Вашего форума. (скоро всё утихомирится).

Share this post


Link to post
Share on other sites

Для начала запретить индексировать календарь.

 

Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь

 

Две и более сессии для одной темы скорее всего означает что бот ходит по ссылкам "на сообщение". findpost запретить.

 

Google 	 Читает тему:    Куплю барбуса редких пород
Google 	 Читает тему:    Куплю барбуса редких пород

Share this post


Link to post
Share on other sites

понял, подожду день-два, если не угомониться, буду усмирять )

Share this post


Link to post
Share on other sites

inurl:findpost

Результатов: примерно 6 650

 

inurl:calendar

Результатов: примерно 21 200

 

~20K мусора в индексе. По моему здесь уже больше ждать нечего.

Share this post


Link to post
Share on other sites

как закрыть их от поиска?

Share this post


Link to post
Share on other sites

Зависит от того какой тип ссылок на форуме используется. В вашем случае это будут выглядеть так:

Disallow: /calendar/
Disallow: /*?app=calendar

Для запрета findpost-ов:

Disallow: /*&view=findpost

 

Остальные дубли и ненужные страницы смотрим в логах посещений поисковых ботов.

  • Upvote 1

Share this post


Link to post
Share on other sites

спасибо!

Share this post


Link to post
Share on other sites

в 21:00 прописал запрет в роботс, но чёт как то им по барабану, всё равно ходят на календарь

Share this post


Link to post
Share on other sites
в 21:00 прописал запрет в роботс

Ждите. robots.txt кешируется ботами, он не запрашивается при каждом запросе на сайте. Через пару часов (плюс - минус) боты загрузят новый роботс.

  • Upvote 1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...