Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
wick

Боты ставят рекорды посещаемости, как с этим бороться?

Рекомендованные сообщения

Добрый день, подскажите как бороться с этой проблемой, периодами боты гугл, яндекс наваливаются и создают онлайн более 1000, как сделать что бы они не учитывались в статистику?

Поделиться сообщением


Ссылка на сообщение

1000 сессий это довольно много. Crawl-delay может помочь ограничить время между сканированием следующей страницы. Да и в целом, нужно настроить роботс что-бы боты не шарили по служебным страницам коих очень много на форуме, а не добавлять там всякие лолы типа Disallow: /conf_global.php и тп.

 

Раньше сессия ботов привязывалась к ип адресу. Сейчас каждый запрос бота имеет свою отдельную сессию в базе данных. Сделано это наверное для того, чтобы снизить нагрузку на таблицу сессии и более точной статистики. Так, что если поисковой бот будет активно сканировать форум, все его сессии, все что он запрашивал за послелние 15 минут будет отображаться в статистике.

Поделиться сообщением


Ссылка на сообщение

Возможно влияет на это смена ЧПУ Вашего форума. (скоро всё утихомирится).

Поделиться сообщением


Ссылка на сообщение

Для начала запретить индексировать календарь.

 

Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь

 

Две и более сессии для одной темы скорее всего означает что бот ходит по ссылкам "на сообщение". findpost запретить.

 

Google 	 Читает тему:    Куплю барбуса редких пород
Google 	 Читает тему:    Куплю барбуса редких пород

Поделиться сообщением


Ссылка на сообщение

понял, подожду день-два, если не угомониться, буду усмирять )

Поделиться сообщением


Ссылка на сообщение

inurl:findpost

Результатов: примерно 6 650

 

inurl:calendar

Результатов: примерно 21 200

 

~20K мусора в индексе. По моему здесь уже больше ждать нечего.

Поделиться сообщением


Ссылка на сообщение

как закрыть их от поиска?

Поделиться сообщением


Ссылка на сообщение

Зависит от того какой тип ссылок на форуме используется. В вашем случае это будут выглядеть так:

Disallow: /calendar/
Disallow: /*?app=calendar

Для запрета findpost-ов:

Disallow: /*&view=findpost

 

Остальные дубли и ненужные страницы смотрим в логах посещений поисковых ботов.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

спасибо!

Поделиться сообщением


Ссылка на сообщение

в 21:00 прописал запрет в роботс, но чёт как то им по барабану, всё равно ходят на календарь

Поделиться сообщением


Ссылка на сообщение
в 21:00 прописал запрет в роботс

Ждите. robots.txt кешируется ботами, он не запрашивается при каждом запросе на сайте. Через пару часов (плюс - минус) боты загрузят новый роботс.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...