wick Posted February 19, 2015 Share Posted February 19, 2015 Добрый день, подскажите как бороться с этой проблемой, периодами боты гугл, яндекс наваливаются и создают онлайн более 1000, как сделать что бы они не учитывались в статистику? Link to comment Share on other sites More sharing options...
siv1987 Posted February 19, 2015 Share Posted February 19, 2015 1000 сессий это довольно много. Crawl-delay может помочь ограничить время между сканированием следующей страницы. Да и в целом, нужно настроить роботс что-бы боты не шарили по служебным страницам коих очень много на форуме, а не добавлять там всякие лолы типа Disallow: /conf_global.php и тп. Раньше сессия ботов привязывалась к ип адресу. Сейчас каждый запрос бота имеет свою отдельную сессию в базе данных. Сделано это наверное для того, чтобы снизить нагрузку на таблицу сессии и более точной статистики. Так, что если поисковой бот будет активно сканировать форум, все его сессии, все что он запрашивал за послелние 15 минут будет отображаться в статистике. Link to comment Share on other sites More sharing options...
Атаман Posted February 19, 2015 Share Posted February 19, 2015 Возможно влияет на это смена ЧПУ Вашего форума. (скоро всё утихомирится). Link to comment Share on other sites More sharing options...
siv1987 Posted February 19, 2015 Share Posted February 19, 2015 Для начала запретить индексировать календарь. Google Просматривает календарь: Основной календарь Google Просматривает календарь: Основной календарь Google Просматривает календарь: Основной календарь Google Просматривает календарь Две и более сессии для одной темы скорее всего означает что бот ходит по ссылкам "на сообщение". findpost запретить. Google Читает тему: Куплю барбуса редких пород Google Читает тему: Куплю барбуса редких пород Link to comment Share on other sites More sharing options...
wick Posted February 19, 2015 Author Share Posted February 19, 2015 понял, подожду день-два, если не угомониться, буду усмирять ) Link to comment Share on other sites More sharing options...
siv1987 Posted February 19, 2015 Share Posted February 19, 2015 inurl:findpostРезультатов: примерно 6 650 inurl:calendarРезультатов: примерно 21 200 ~20K мусора в индексе. По моему здесь уже больше ждать нечего. Link to comment Share on other sites More sharing options...
wick Posted February 19, 2015 Author Share Posted February 19, 2015 как закрыть их от поиска? Link to comment Share on other sites More sharing options...
siv1987 Posted February 19, 2015 Share Posted February 19, 2015 Зависит от того какой тип ссылок на форуме используется. В вашем случае это будут выглядеть так:Disallow: /calendar/ Disallow: /*?app=calendarДля запрета findpost-ов:Disallow: /*&view=findpost Остальные дубли и ненужные страницы смотрим в логах посещений поисковых ботов. 1 Link to comment Share on other sites More sharing options...
wick Posted February 19, 2015 Author Share Posted February 19, 2015 спасибо! Link to comment Share on other sites More sharing options...
wick Posted February 19, 2015 Author Share Posted February 19, 2015 в 21:00 прописал запрет в роботс, но чёт как то им по барабану, всё равно ходят на календарь Link to comment Share on other sites More sharing options...
siv1987 Posted February 19, 2015 Share Posted February 19, 2015 в 21:00 прописал запрет в роботсЖдите. robots.txt кешируется ботами, он не запрашивается при каждом запросе на сайте. Через пару часов (плюс - минус) боты загрузят новый роботс. 1 Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now