Боты ставят рекорды посещаемости, как с этим бороться? - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Боты ставят рекорды посещаемости, как с этим бороться?

#1 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 19 Февраль 2015 - 11:46

Добрый день, подскажите как бороться с этой проблемой, периодами боты гугл, яндекс наваливаются и создают онлайн более 1000, как сделать что бы они не учитывались в статистику?
0

#2 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 19 Февраль 2015 - 13:09

1000 сессий это довольно много. Crawl-delay может помочь ограничить время между сканированием следующей страницы. Да и в целом, нужно настроить роботс что-бы боты не шарили по служебным страницам коих очень много на форуме, а не добавлять там всякие лолы типа Disallow: /conf_global.php и тп.

Раньше сессия ботов привязывалась к ип адресу. Сейчас каждый запрос бота имеет свою отдельную сессию в базе данных. Сделано это наверное для того, чтобы снизить нагрузку на таблицу сессии и более точной статистики. Так, что если поисковой бот будет активно сканировать форум, все его сессии, все что он запрашивал за послелние 15 минут будет отображаться в статистике.
0

#3 Пользователь на сайте   Атаман ответил: »

 
 
  • Advanced
  • Смотреть блог
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins.ru Team
  • Сообщений: 2 152
  • Регистрация: 13-Апрель 12
  • Репутация: 327
  • Откуда:no
  • IPB version:1.x
 

Отправлено 19 Февраль 2015 - 13:09

Возможно влияет на это смена ЧПУ Вашего форума. (скоро всё утихомирится).
0

#4 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 19 Февраль 2015 - 13:43

Для начала запретить индексировать календарь.

Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь:    Основной календарь
Google 	 Просматривает календарь


Две и более сессии для одной темы скорее всего означает что бот ходит по ссылкам "на сообщение". findpost запретить.

Google 	 Читает тему:    Куплю барбуса редких пород
Google 	 Читает тему:    Куплю барбуса редких пород

0

#5 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 19 Февраль 2015 - 19:17

понял, подожду день-два, если не угомониться, буду усмирять )
0

#6 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 19 Февраль 2015 - 19:45

inurl:findpost
Результатов: примерно 6 650

inurl:calendar
Результатов: примерно 21 200

~20K мусора в индексе. По моему здесь уже больше ждать нечего.
0

#7 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 19 Февраль 2015 - 20:19

как закрыть их от поиска?
0

#8 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 19 Февраль 2015 - 20:46

Зависит от того какой тип ссылок на форуме используется. В вашем случае это будут выглядеть так:
Disallow: /calendar/
Disallow: /*?app=calendar

Для запрета findpost-ов:
Disallow: /*&view=findpost


Остальные дубли и ненужные страницы смотрим в логах посещений поисковых ботов.
1

#9 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 19 Февраль 2015 - 20:56

спасибо!
0

#10 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 19 Февраль 2015 - 23:28

в 21:00 прописал запрет в роботс, но чёт как то им по барабану, всё равно ходят на календарь
0

#11 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 19 Февраль 2015 - 23:40

Просмотреть сообщениеwick сказал(а):

в 21:00 прописал запрет в роботс

Ждите. robots.txt кешируется ботами, он не запрашивается при каждом запросе на сайте. Через пару часов (плюс - минус) боты загрузят новый роботс.
1

Сообщить об этой теме:


Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна