Перейти к публикации
View in the app

A better way to browse. Learn more.

Дизайн и модификация Invision Community

A full-screen app on your home screen with push notifications, badges and more.

To install this app on iOS and iPadOS
  1. Tap the Share icon in Safari
  2. Scroll the menu and tap Add to Home Screen.
  3. Tap Add in the top-right corner.
To install this app on Android
  1. Tap the 3-dot menu (⋮) in the top-right corner of the browser.
  2. Tap Add to Home screen or Install app.
  3. Confirm by tapping Install.

Боты ставят рекорды посещаемости, как с этим бороться?

Опубликовано:

Добрый день, подскажите как бороться с этой проблемой, периодами боты гугл, яндекс наваливаются и создают онлайн более 1000, как сделать что бы они не учитывались в статистику?

Рекомендованные сообщения

Опубликовано:

1000 сессий это довольно много. Crawl-delay может помочь ограничить время между сканированием следующей страницы. Да и в целом, нужно настроить роботс что-бы боты не шарили по служебным страницам коих очень много на форуме, а не добавлять там всякие лолы типа Disallow: /conf_global.php и тп.

 

Раньше сессия ботов привязывалась к ип адресу. Сейчас каждый запрос бота имеет свою отдельную сессию в базе данных. Сделано это наверное для того, чтобы снизить нагрузку на таблицу сессии и более точной статистики. Так, что если поисковой бот будет активно сканировать форум, все его сессии, все что он запрашивал за послелние 15 минут будет отображаться в статистике.

Опубликовано:

Возможно влияет на это смена ЧПУ Вашего форума. (скоро всё утихомирится).

Опубликовано:

Для начала запретить индексировать календарь.

 

Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь

 

Две и более сессии для одной темы скорее всего означает что бот ходит по ссылкам "на сообщение". findpost запретить.

 

Google 	 Читает тему:    Куплю барбуса редких пород
Google 	 Читает тему:    Куплю барбуса редких пород

Опубликовано:
  • Автор

понял, подожду день-два, если не угомониться, буду усмирять )

Опубликовано:

inurl:findpost

Результатов: примерно 6 650

 

inurl:calendar

Результатов: примерно 21 200

 

~20K мусора в индексе. По моему здесь уже больше ждать нечего.

Опубликовано:
  • Автор

как закрыть их от поиска?

Опубликовано:

Зависит от того какой тип ссылок на форуме используется. В вашем случае это будут выглядеть так:

Disallow: /calendar/
Disallow: /*?app=calendar

Для запрета findpost-ов:

Disallow: /*&view=findpost

 

Остальные дубли и ненужные страницы смотрим в логах посещений поисковых ботов.

Опубликовано:
  • Автор

спасибо!

Опубликовано:
  • Автор

в 21:00 прописал запрет в роботс, но чёт как то им по барабану, всё равно ходят на календарь

Опубликовано:
в 21:00 прописал запрет в роботс

Ждите. robots.txt кешируется ботами, он не запрашивается при каждом запросе на сайте. Через пару часов (плюс - минус) боты загрузят новый роботс.

Создайте аккаунт или войдите в него для комментирования

Сейчас на странице 0

  • Нет пользователей, просматривающих эту страницу.

Configure browser push notifications

Chrome (Android)
  1. Tap the lock icon next to the address bar.
  2. Tap Permissions → Notifications.
  3. Adjust your preference.
Chrome (Desktop)
  1. Click the padlock icon in the address bar.
  2. Select Site settings.
  3. Find Notifications and adjust your preference.