Достали поисковые боты. IP.Board 3.4.5 - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются вопросы по настройке и администрированию форумов IPB 3.x.
Пожалуйста, не оффтопьте, если зашли сюда случайно, и обратите внимание на соседние разделы.
Установка, настройка и обслуживание форумов IPB 2.x.
Оформление форумов, включая верстку скинов.
Размещение рекламы на форумах.
SEO оптимизация форума.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

Страница 1 из 1

Достали поисковые боты. IP.Board 3.4.5

#1 Пользователь не на сайте   Glow ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 29
  • Регистрация: 09-Август 13
  • Репутация: 0
  • IPB version:3.4.x
 

Отправлено 12 Сентябрь 2015 - 08:47

Никак не могу справиться с некоторыми поисковыми ботами, уже блокал их по IP в .htaccess, и в настройках самого форума в бан фильтре. Но некоторые упорно не хотят уходить.
Вот IP адрес самого активного - 5.199.196.117.
Подскажите пожалуйста, как вообще (полностью) оградить свой форум от поисковых ботов? Может быть есть какая-то команда?

Еще такой вопрос, подскажите, возможно я делаю что-то не так... Вот мой .htaccess:
Spoiler

Подскажите, все ли верно в нем прописано?
0

#2 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2015 - 09:22

Полностью оградить форум достаточно просто заблокировать в htaccess. Бан в банфильтре не исключает его присутствие с форума.
1

#3 Пользователь не на сайте   Glow ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 29
  • Регистрация: 09-Август 13
  • Репутация: 0
  • IPB version:3.4.x
 

Отправлено 12 Сентябрь 2015 - 09:48

Просмотреть сообщениеsiv1987 12 Сентябрь 2015 - 09:22 сказал(а):

Полностью оградить форум достаточно просто заблокировать в htaccess

а как это сделать?
0

#4 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2015 - 10:06

Заблокировать по ип, по юзер-агенту. Собственно то что у вас есть.
1

#5 Пользователь не на сайте   Одмин ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 574
  • Регистрация: 21-Апрель 13
  • Репутация: 41
  • IPB version:3.4.x
 

Отправлено 12 Сентябрь 2015 - 10:28

Рискну посоветовать добавить в .htaccess вот это:

<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent Yahoo ban
SetEnvIfNoCase User-Agent BoardReader ban
SetEnvIfNoCase User-Agent Twitterbot ban
SetEnvIfNoCase User-Agent XoviBot ban
SetEnvIfNoCase User-Agent SemrushBot ban
SetEnvIfNoCase User-Agent dotbot ban
SetEnvIfNoCase User-Agent bingbot ban
SetEnvIfNoCase User-Agent SISTRIX Crawler ban
SetEnvIfNoCase User-Agent BLEXBot ban
SetEnvIfNoCase User-Agent AhrefsBot ban
SetEnvIfNoCase User-Agent LinkpadBot ban
SetEnvIfNoCase User-Agent trendictionbot ban
SetEnvIfNoCase User-Agent "8484 Boston Project" ban
SetEnvIfNoCase User-Agent Accelerator ban
SetEnvIfNoCase User-Agent Ants ban
SetEnvIfNoCase User-Agent "Ask Jeeves" ban
SetEnvIfNoCase User-Agent Atomic_Email_Hunter ban
SetEnvIfNoCase User-Agent atSpider ban
SetEnvIfNoCase User-Agent attach ban
SetEnvIfNoCase User-Agent autoemailspider ban
SetEnvIfNoCase User-Agent BackWeb ban
SetEnvIfNoCase User-Agent Baiduspider ban
SetEnvIfNoCase User-Agent Bandit ban
SetEnvIfNoCase User-Agent BlackWidow ban
SetEnvIfNoCase User-Agent "Bot\ mailto:craftbot@yahoo.com" ban
SetEnvIfNoCase User-Agent Buddy ban
SetEnvIfNoCase User-Agent bwh3_user_agent ban
SetEnvIfNoCase User-Agent China ban
SetEnvIfNoCase User-Agent Collector ban
SetEnvIfNoCase User-Agent ContactBot ban
SetEnvIfNoCase User-Agent ContentSmartz ban
SetEnvIfNoCase User-Agent Copier ban
SetEnvIfNoCase User-Agent Custo ban
SetEnvIfNoCase User-Agent DataCha0s ban
SetEnvIfNoCase User-Agent DBrowse ban
SetEnvIfNoCase User-Agent Demo Bot ban
SetEnvIfNoCase User-Agent DISCo ban
SetEnvIfNoCase User-Agent Dolphin ban
SetEnvIfNoCase User-Agent Download ban
SetEnvIfNoCase User-Agent Drip ban
SetEnvIfNoCase User-Agent DSurf15 ban
SetEnvIfNoCase User-Agent EBrowse ban
SetEnvIfNoCase User-Agent eCatch ban
SetEnvIfNoCase User-Agent "Educate Search VxB" ban
SetEnvIfNoCase User-Agent EirGrabber ban
SetEnvIfNoCase User-Agent EmailSiphon ban
SetEnvIfNoCase User-Agent EmailSpider ban
SetEnvIfNoCase User-Agent EmailWolf ban
SetEnvIfNoCase User-Agent ESurf15 ban
SetEnvIfNoCase User-Agent "Express\ WebPictures" ban
SetEnvIfNoCase User-Agent ExtractorPro ban
SetEnvIfNoCase User-Agent EyeNetIE ban
SetEnvIfNoCase User-Agent FileHound ban
SetEnvIfNoCase User-Agent FlashGet ban
SetEnvIfNoCase User-Agent Flexum ban
SetEnvIfNoCase User-Agent "Franklin Locator" ban
SetEnvIfNoCase User-Agent FSurf15 ban
SetEnvIfNoCase User-Agent "Full Web Bot" ban
SetEnvIfNoCase User-Agent GetRight ban
SetEnvIfNoCase User-Agent Gets ban
SetEnvIfNoCase User-Agent GetWeb! ban
SetEnvIfNoCase User-Agent Gigabot ban
SetEnvIfNoCase User-Agent Go!Zilla ban
SetEnvIfNoCase User-Agent Go-Ahead-Got-It ban
SetEnvIfNoCase User-Agent gotit ban
SetEnvIfNoCase User-Agent GoZilla ban
SetEnvIfNoCase User-Agent Grab.*Site ban
SetEnvIfNoCase User-Agent Grabber ban
SetEnvIfNoCase User-Agent GrabNet ban
SetEnvIfNoCase User-Agent Grafula ban
SetEnvIfNoCase User-Agent grub-client ban
SetEnvIfNoCase User-Agent gsa-crawler ban
SetEnvIfNoCase User-Agent "Guestbook Auto Submitter" ban
SetEnvIfNoCase User-Agent Gulliver ban
SetEnvIfNoCase User-Agent HMView ban
SetEnvIfNoCase User-Agent HTTrack ban
SetEnvIfNoCase User-Agent ia_archiver ban
SetEnvIfNoCase User-Agent IBrowse ban
SetEnvIfNoCase User-Agent "Image\ Stripper" ban
SetEnvIfNoCase User-Agent "Image\ Sucker" ban
SetEnvIfNoCase User-Agent "Industry Program" ban
SetEnvIfNoCase User-Agent "Indy\ Library" ban
SetEnvIfNoCase User-Agent inktomi\.com ban
SetEnvIfNoCase User-Agent InterGET ban
SetEnvIfNoCase User-Agent "Internet\ Ninja" ban
SetEnvIfNoCase User-Agent Iria ban
SetEnvIfNoCase User-Agent "ISC Systems iRc Search" ban
SetEnvIfNoCase User-Agent "IUPUI Research" Bot ban
SetEnvIfNoCase User-Agent JetCar ban
SetEnvIfNoCase User-Agent jetcar ban
SetEnvIfNoCase User-Agent JOC ban
SetEnvIfNoCase User-Agent JustView ban
SetEnvIfNoCase User-Agent larbin ban
SetEnvIfNoCase User-Agent LARBIN-EXPERIMENTAL ban
SetEnvIfNoCase User-Agent leech ban
SetEnvIfNoCase User-Agent LeechFTP ban
SetEnvIfNoCase User-Agent LetsCrawl.com ban
SetEnvIfNoCase User-Agent lftp ban
SetEnvIfNoCase User-Agent libwww-perl ban
SetEnvIfNoCase User-Agent likse ban
SetEnvIfNoCase User-Agent "Lincoln State Web Browser" ban
SetEnvIfNoCase User-Agent liveinternet ban
SetEnvIfNoCase User-Agent LMQueueBot ban
SetEnvIfNoCase User-Agent LWP::Simple ban
SetEnvIfNoCase User-Agent "Mac Finder" ban
SetEnvIfNoCase User-Agent Magnet ban
SetEnvIfNoCase User-Agent Mag-Net ban
SetEnvIfNoCase User-Agent Memo ban
SetEnvIfNoCase User-Agent "MFC Foundation Class Library" ban
SetEnvIfNoCase User-Agent "Microsoft URL Control" ban
SetEnvIfNoCase User-Agent "MIDown\ tool" ban
SetEnvIfNoCase User-Agent Mirror ban
SetEnvIfNoCase User-Agent "Missauga Loca" ban
SetEnvIfNoCase User-Agent "Missouri College Browse" ban
SetEnvIfNoCase User-Agent "Mister\ PiX" ban
SetEnvIfNoCase User-Agent "Mizzu Labs" ban
SetEnvIfNoCase User-Agent MJ12bot ban
SetEnvIfNoCase User-Agent "Mo College" ban
SetEnvIfNoCase User-Agent MVAClient ban
SetEnvIfNoCase User-Agent "NameOfAgent (CMS Spider)" ban
SetEnvIfNoCase User-Agent "NASA Search" ban
SetEnvIfNoCase User-Agent Navroad ban
SetEnvIfNoCase User-Agent NearSite ban
SetEnvIfNoCase User-Agent "Net\ Reaper" ban
SetEnvIfNoCase User-Agent "Net\ Vampire" ban
SetEnvIfNoCase User-Agent NetAnts ban
SetEnvIfNoCase User-Agent NetSpider ban
SetEnvIfNoCase User-Agent NetZIP ban
SetEnvIfNoCase User-Agent Ninja ban
SetEnvIfNoCase User-Agent Nsauditor ban
SetEnvIfNoCase User-Agent Octopus ban
SetEnvIfNoCase User-Agent Offline ban
SetEnvIfNoCase User-Agent Page.*Saver ban
SetEnvIfNoCase User-Agent PageGrabber ban
SetEnvIfNoCase User-Agent "Papa\ Foto" ban
SetEnvIfNoCase User-Agent pavuk ban
SetEnvIfNoCase User-Agent PBrowse ban
SetEnvIfNoCase User-Agent pcBrowser ban
SetEnvIfNoCase User-Agent PEval ban
SetEnvIfNoCase User-Agent Pita ban
SetEnvIfNoCase User-Agent Pockey ban
SetEnvIfNoCase User-Agent Poirot ban
SetEnvIfNoCase User-Agent "Port Huron Labs" ban
SetEnvIfNoCase User-Agent "Production Bot" ban
SetEnvIfNoCase User-Agent "Program Shareware" ban
SetEnvIfNoCase User-Agent psbot ban
SetEnvIfNoCase User-Agent PSurf15 ban
SetEnvIfNoCase User-Agent psycheclone ban
SetEnvIfNoCase User-Agent Pump ban
SetEnvIfNoCase User-Agent Reaper ban
SetEnvIfNoCase User-Agent Recorder ban
SetEnvIfNoCase User-Agent ReGet ban
SetEnvIfNoCase User-Agent RSurf15 ban
SetEnvIfNoCase User-Agent Scooter ban
SetEnvIfNoCase User-Agent "searchbot admin@google.com" ban
SetEnvIfNoCase User-Agent "SEO search Crawler" ban
SetEnvIfNoCase User-Agent SEOsearch ban
SetEnvIfNoCase User-Agent ShablastBot ban
SetEnvIfNoCase User-Agent Siphon ban
SetEnvIfNoCase User-Agent SiteSnagger ban
SetEnvIfNoCase User-Agent Snagger ban
SetEnvIfNoCase User-Agent Snake ban
SetEnvIfNoCase User-Agent "snap.com beta crawler" ban
SetEnvIfNoCase User-Agent Snapbot ban
SetEnvIfNoCase User-Agent "sogou develop spider" ban
SetEnvIfNoCase User-Agent "Sogou Orion spider" ban
SetEnvIfNoCase User-Agent "sogou spider" ban
SetEnvIfNoCase User-Agent "Sogou web spider" ban
SetEnvIfNoCase User-Agent "sohu agent" ban
SetEnvIfNoCase User-Agent SpaceBison ban
SetEnvIfNoCase User-Agent SSurf15 ban
SetEnvIfNoCase User-Agent Stripper ban
SetEnvIfNoCase User-Agent Sucker ban
SetEnvIfNoCase User-Agent SuperBot ban
SetEnvIfNoCase User-Agent SuperHTTP ban
SetEnvIfNoCase User-Agent Surfbot ban
SetEnvIfNoCase User-Agent tAkeOut ban
SetEnvIfNoCase User-Agent "Teleport\ Pro" ban
SetEnvIfNoCase User-Agent Triton ban
SetEnvIfNoCase User-Agent TSurf15 ban
SetEnvIfNoCase User-Agent Twiceler ban
SetEnvIfNoCase User-Agent "Under the Rainbow" ban
SetEnvIfNoCase User-Agent Vacuum ban
SetEnvIfNoCase User-Agent VadixBot ban
SetEnvIfNoCase User-Agent VoidEYE ban
SetEnvIfNoCase User-Agent voyager ban
SetEnvIfNoCase User-Agent "W3 SiteSearch Crawler" ban
SetEnvIfNoCase User-Agent W3C_*Validator ban
SetEnvIfNoCase User-Agent W3C-checklink ban
SetEnvIfNoCase User-Agent Weazel ban
SetEnvIfNoCase User-Agent Web.*Spy ban
SetEnvIfNoCase User-Agent "Web\ Image\ Collector" ban
SetEnvIfNoCase User-Agent "Web\ Sucker" ban
SetEnvIfNoCase User-Agent WebAlta ban
SetEnvIfNoCase User-Agent WebAuto ban
SetEnvIfNoCase User-Agent WebCapture ban
SetEnvIfNoCase User-Agent WebCopier ban
SetEnvIfNoCase User-Agent WebFetch ban
SetEnvIfNoCase User-Agent "WebGo\ IS" ban
SetEnvIfNoCase User-Agent WebLeacher ban
SetEnvIfNoCase User-Agent WebMirror ban
SetEnvIfNoCase User-Agent WebReaper ban
SetEnvIfNoCase User-Agent WebRecorder ban
SetEnvIfNoCase User-Agent WebSauger ban
SetEnvIfNoCase User-Agent "Website\ eXtractor" ban
SetEnvIfNoCase User-Agent "Website\ Quester" ban
SetEnvIfNoCase User-Agent WebSpy ban
SetEnvIfNoCase User-Agent Webster ban
SetEnvIfNoCase User-Agent WebStripper ban
SetEnvIfNoCase User-Agent WebVulnCrawl.unknown ban
SetEnvIfNoCase User-Agent WebWhacker ban
SetEnvIfNoCase User-Agent WebZIP ban
SetEnvIfNoCase User-Agent "Wells Search" ban
SetEnvIfNoCase User-Agent "WEP Search" ban
SetEnvIfNoCase User-Agent Wget ban
SetEnvIfNoCase User-Agent Whacker ban
SetEnvIfNoCase User-Agent Widow ban
SetEnvIfNoCase User-Agent www\.asona\.org ban
SetEnvIfNoCase User-Agent WWWOFFLE ban
SetEnvIfNoCase User-Agent "Xaldon\ WebSpider" ban
SetEnvIfNoCase User-Agent Yanga ban
SetEnvIfNoCase User-Agent Zeus ban
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=ban
</Limit>
</IfModule>

1

#6 Пользователь не на сайте   Glow ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 29
  • Регистрация: 09-Август 13
  • Репутация: 0
  • IPB version:3.4.x
 

Отправлено 12 Сентябрь 2015 - 11:18

Просмотреть сообщениеsiv1987 12 Сентябрь 2015 - 10:06 сказал(а):

Заблокировать по ип, по юзер-агенту. Собственно то что у вас есть.

А, ясно, я думал существует какая-нибудь однострочная панацея. Чтож, спасибо за ответ )

Просмотреть сообщениеОдмин 12 Сентябрь 2015 - 10:28 сказал(а):

Рискну посоветовать добавить в .htaccess вот это:

Спасибо, опробую!
0

#7 Пользователь не на сайте   Glow ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 29
  • Регистрация: 09-Август 13
  • Репутация: 0
  • IPB version:3.4.x
 

Отправлено 12 Сентябрь 2015 - 14:23

Список Одмина сократил посещаемость ботов на 25%! Спасибо!
Но некоторые продолжают беспрепятственно "атаковать". Например вот этот гад:
Код из access_log:
5-199-196-117.k-telecom.org - - [12/Sep/2015:14:16:24 +0300] "GET /topic/7320-xxx-yyy-zzz/ HTTP/1.0" 403 155 "-" "Mozilla/5.0 (Linux; U; Android 4.0.4; ru-ru; TAB7000 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Safari/534.30" forum.xxxyyyzzz.ru

Он только за сегодня 7200 раз загружал странички, причем только одну, вот эту /topic/7320-xxx-yyy-zzz/
Как ему ограничить доступ к форуму?

Сообщение изменено: Glow (12 Сентябрь 2015 - 14:36)

0

#8 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 725
  • Регистрация: 20-Март 09
  • Репутация: 2 271
  • IPB version:3.1.x
 

Отправлено 13 Сентябрь 2015 - 12:17

Вы на код статуса в логе смотрели?

Цитата

"GET /topic/7320-xxx-yyy-zzz/ HTTP/1.0" 403

Этот хост заблокирован.
0

#9 Пользователь не на сайте   Glow ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 29
  • Регистрация: 09-Август 13
  • Репутация: 0
  • IPB version:3.4.x
 

Отправлено 13 Сентябрь 2015 - 16:57

Я не сильно в этих логах разбираюсь... даже понятия не имел, что эти цифры обозначают! :) Спасибо, теперь я успокоился )
0

Сообщить об этой теме:


Страница 1 из 1


Быстрый ответ

  

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна