Перейти к публикации
Дизайн и модификация Invision Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
Glow

Достали поисковые боты. IP.Board 3.4.5

Автор: Glow, в IP.Board 3.x

Рекомендованные сообщения

Glow    0

Glow
09/12/15 05:48

Никак не могу справиться с некоторыми поисковыми ботами, уже блокал их по IP в .htaccess, и в настройках самого форума в бан фильтре. Но некоторые упорно не хотят уходить.

Вот IP адрес самого активного - 5.199.196.117.

Подскажите пожалуйста, как вообще (полностью) оградить свой форум от поисковых ботов? Может быть есть какая-то команда?

 

Еще такой вопрос, подскажите, возможно я делаю что-то не так... Вот мой .htaccess:

 

<IfModule mod_rewrite.c>
Options -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

Deny from 157.55.39.0/24 #bingbot
Deny from 157.55.39.117 #bingbot
Deny from 157.55.39.55 #bingbot
Deny from 207.46.13.0/24 #bingbot
Deny from 207.46.13.136 #bingbot
Deny from 157.55.39.92 #bingbot
Deny from msnbot-207-46-13-136.search.msn.com #bingbot
Deny from 68.180.230.0/24 #yahoobot
Deny from 5.255.253.0/24 #yahoobot
Deny from 151.80.31.0/24 #ahrefsbot
Deny from 217.69.134.0/24 #mailrubot
Deny from 217.69.134.30 #mailrubot
Deny from fetcher-fast1-7.p.mail.ru #mailrubot
Deny from fetcher-fast1-6.p.mail.ru #mailrubot
Deny from fetcher-fast1-5.p.mail.ru #mailrubot
Deny from fetcher-fast1-4.p.mail.ru #mailrubot
Deny from fetcher-fast1-3.p.mail.ru #mailrubot
Deny from fetcher-fast1-2.p.mail.ru #mailrubot
Deny from fetcher-fast1-1.p.mail.ru #mailrubot
Deny from fetcher2.p.mail.ru #mailrubot
Deny from 217.69.134.13 #mailrubot
Deny from 5.199.209.53 #???
Deny from 5-199-209-53.k-telecom.org #???
Deny from 66.249.78.0/24 #googlebot
Deny from 66.249.78.89 #googlebot
Deny from 66.249.78.96 #googlebot
Deny from 93.158.178.0/24 #yandexbot
Deny from 93.158.178.173 #yandexbot
Deny from 93.158.178.130 #yandexmobilebot
Deny from trbo33g.trbo.yandex.net #yandexbot
Deny from 84.201.138.25 #yandexbot
Deny from netherfield.didici.be #MJ12bot
Deny from 195.154.157.47 #MJ12bot
Deny from 46-36-28-185.in-addr.arpa #???
Deny from 46.36.28.185 #???
Deny from 46.36.28.0/24 #???
Deny from 185.28.36.46 #???
Deny from 185.28.36.0/24 #???
Deny from 217.69.134.0/24 #???
Deny from 5.199.196.117 #???
Deny from 5.199.196.0/24 #???

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>

 

Подскажите, все ли верно в нем прописано?

Поделиться сообщением

Ссылка на сообщение

siv1987    2629

siv1987
09/12/15 06:23

Полностью оградить форум достаточно просто заблокировать в htaccess. Бан в банфильтре не исключает его присутствие с форума.

  • Upvote 1

Поделиться сообщением

Ссылка на сообщение

Glow    0

Glow
09/12/15 06:49

Полностью оградить форум достаточно просто заблокировать в htaccess

а как это сделать?

Поделиться сообщением

Ссылка на сообщение

siv1987    2629

siv1987
09/12/15 07:07

Заблокировать по ип, по юзер-агенту. Собственно то что у вас есть.

  • Upvote 1

Поделиться сообщением

Ссылка на сообщение

Одмин    42

Одмин
09/12/15 07:29

Рискну посоветовать добавить в .htaccess вот это:

 

<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent Yahoo ban
SetEnvIfNoCase User-Agent BoardReader ban
SetEnvIfNoCase User-Agent Twitterbot ban
SetEnvIfNoCase User-Agent XoviBot ban
SetEnvIfNoCase User-Agent SemrushBot ban
SetEnvIfNoCase User-Agent dotbot ban
SetEnvIfNoCase User-Agent bingbot ban
SetEnvIfNoCase User-Agent SISTRIX Crawler ban
SetEnvIfNoCase User-Agent BLEXBot ban
SetEnvIfNoCase User-Agent AhrefsBot ban
SetEnvIfNoCase User-Agent LinkpadBot ban
SetEnvIfNoCase User-Agent trendictionbot ban
SetEnvIfNoCase User-Agent "8484 Boston Project" ban
SetEnvIfNoCase User-Agent Accelerator ban
SetEnvIfNoCase User-Agent Ants ban
SetEnvIfNoCase User-Agent "Ask Jeeves" ban
SetEnvIfNoCase User-Agent Atomic_Email_Hunter ban
SetEnvIfNoCase User-Agent atSpider ban
SetEnvIfNoCase User-Agent attach ban
SetEnvIfNoCase User-Agent autoemailspider ban
SetEnvIfNoCase User-Agent BackWeb ban
SetEnvIfNoCase User-Agent Baiduspider ban
SetEnvIfNoCase User-Agent Bandit ban
SetEnvIfNoCase User-Agent BlackWidow ban
SetEnvIfNoCase User-Agent "Bot\ mailto:craftbot@yahoo.com" ban
SetEnvIfNoCase User-Agent Buddy ban
SetEnvIfNoCase User-Agent bwh3_user_agent ban
SetEnvIfNoCase User-Agent China ban
SetEnvIfNoCase User-Agent Collector ban
SetEnvIfNoCase User-Agent ContactBot ban
SetEnvIfNoCase User-Agent ContentSmartz ban
SetEnvIfNoCase User-Agent Copier ban
SetEnvIfNoCase User-Agent Custo ban
SetEnvIfNoCase User-Agent DataCha0s ban
SetEnvIfNoCase User-Agent DBrowse ban
SetEnvIfNoCase User-Agent Demo Bot ban
SetEnvIfNoCase User-Agent DISCo ban
SetEnvIfNoCase User-Agent Dolphin ban
SetEnvIfNoCase User-Agent Download ban
SetEnvIfNoCase User-Agent Drip ban
SetEnvIfNoCase User-Agent DSurf15 ban
SetEnvIfNoCase User-Agent EBrowse ban
SetEnvIfNoCase User-Agent eCatch ban
SetEnvIfNoCase User-Agent "Educate Search VxB" ban
SetEnvIfNoCase User-Agent EirGrabber ban
SetEnvIfNoCase User-Agent EmailSiphon ban
SetEnvIfNoCase User-Agent EmailSpider ban
SetEnvIfNoCase User-Agent EmailWolf ban
SetEnvIfNoCase User-Agent ESurf15 ban
SetEnvIfNoCase User-Agent "Express\ WebPictures" ban
SetEnvIfNoCase User-Agent ExtractorPro ban
SetEnvIfNoCase User-Agent EyeNetIE ban
SetEnvIfNoCase User-Agent FileHound ban
SetEnvIfNoCase User-Agent FlashGet ban
SetEnvIfNoCase User-Agent Flexum ban
SetEnvIfNoCase User-Agent "Franklin Locator" ban
SetEnvIfNoCase User-Agent FSurf15 ban
SetEnvIfNoCase User-Agent "Full Web Bot" ban
SetEnvIfNoCase User-Agent GetRight ban
SetEnvIfNoCase User-Agent Gets ban
SetEnvIfNoCase User-Agent GetWeb! ban
SetEnvIfNoCase User-Agent Gigabot ban
SetEnvIfNoCase User-Agent Go!Zilla ban
SetEnvIfNoCase User-Agent Go-Ahead-Got-It ban
SetEnvIfNoCase User-Agent gotit ban
SetEnvIfNoCase User-Agent GoZilla ban
SetEnvIfNoCase User-Agent Grab.*Site ban
SetEnvIfNoCase User-Agent Grabber ban
SetEnvIfNoCase User-Agent GrabNet ban
SetEnvIfNoCase User-Agent Grafula ban
SetEnvIfNoCase User-Agent grub-client ban
SetEnvIfNoCase User-Agent gsa-crawler ban
SetEnvIfNoCase User-Agent "Guestbook Auto Submitter" ban
SetEnvIfNoCase User-Agent Gulliver ban
SetEnvIfNoCase User-Agent HMView ban
SetEnvIfNoCase User-Agent HTTrack ban
SetEnvIfNoCase User-Agent ia_archiver ban
SetEnvIfNoCase User-Agent IBrowse ban
SetEnvIfNoCase User-Agent "Image\ Stripper" ban
SetEnvIfNoCase User-Agent "Image\ Sucker" ban
SetEnvIfNoCase User-Agent "Industry Program" ban
SetEnvIfNoCase User-Agent "Indy\ Library" ban
SetEnvIfNoCase User-Agent inktomi\.com ban
SetEnvIfNoCase User-Agent InterGET ban
SetEnvIfNoCase User-Agent "Internet\ Ninja" ban
SetEnvIfNoCase User-Agent Iria ban
SetEnvIfNoCase User-Agent "ISC Systems iRc Search" ban
SetEnvIfNoCase User-Agent "IUPUI Research" Bot ban
SetEnvIfNoCase User-Agent JetCar ban
SetEnvIfNoCase User-Agent jetcar ban
SetEnvIfNoCase User-Agent JOC ban
SetEnvIfNoCase User-Agent JustView ban
SetEnvIfNoCase User-Agent larbin ban
SetEnvIfNoCase User-Agent LARBIN-EXPERIMENTAL ban
SetEnvIfNoCase User-Agent leech ban
SetEnvIfNoCase User-Agent LeechFTP ban
SetEnvIfNoCase User-Agent LetsCrawl.com ban
SetEnvIfNoCase User-Agent lftp ban
SetEnvIfNoCase User-Agent libwww-perl ban
SetEnvIfNoCase User-Agent likse ban
SetEnvIfNoCase User-Agent "Lincoln State Web Browser" ban
SetEnvIfNoCase User-Agent liveinternet ban
SetEnvIfNoCase User-Agent LMQueueBot ban
SetEnvIfNoCase User-Agent LWP::Simple ban
SetEnvIfNoCase User-Agent "Mac Finder" ban
SetEnvIfNoCase User-Agent Magnet ban
SetEnvIfNoCase User-Agent Mag-Net ban
SetEnvIfNoCase User-Agent Memo ban
SetEnvIfNoCase User-Agent "MFC Foundation Class Library" ban
SetEnvIfNoCase User-Agent "Microsoft URL Control" ban
SetEnvIfNoCase User-Agent "MIDown\ tool" ban
SetEnvIfNoCase User-Agent Mirror ban
SetEnvIfNoCase User-Agent "Missauga Loca" ban
SetEnvIfNoCase User-Agent "Missouri College Browse" ban
SetEnvIfNoCase User-Agent "Mister\ PiX" ban
SetEnvIfNoCase User-Agent "Mizzu Labs" ban
SetEnvIfNoCase User-Agent MJ12bot ban
SetEnvIfNoCase User-Agent "Mo College" ban
SetEnvIfNoCase User-Agent MVAClient ban
SetEnvIfNoCase User-Agent "NameOfAgent (CMS Spider)" ban
SetEnvIfNoCase User-Agent "NASA Search" ban
SetEnvIfNoCase User-Agent Navroad ban
SetEnvIfNoCase User-Agent NearSite ban
SetEnvIfNoCase User-Agent "Net\ Reaper" ban
SetEnvIfNoCase User-Agent "Net\ Vampire" ban
SetEnvIfNoCase User-Agent NetAnts ban
SetEnvIfNoCase User-Agent NetSpider ban
SetEnvIfNoCase User-Agent NetZIP ban
SetEnvIfNoCase User-Agent Ninja ban
SetEnvIfNoCase User-Agent Nsauditor ban
SetEnvIfNoCase User-Agent Octopus ban
SetEnvIfNoCase User-Agent Offline ban
SetEnvIfNoCase User-Agent Page.*Saver ban
SetEnvIfNoCase User-Agent PageGrabber ban
SetEnvIfNoCase User-Agent "Papa\ Foto" ban
SetEnvIfNoCase User-Agent pavuk ban
SetEnvIfNoCase User-Agent PBrowse ban
SetEnvIfNoCase User-Agent pcBrowser ban
SetEnvIfNoCase User-Agent PEval ban
SetEnvIfNoCase User-Agent Pita ban
SetEnvIfNoCase User-Agent Pockey ban
SetEnvIfNoCase User-Agent Poirot ban
SetEnvIfNoCase User-Agent "Port Huron Labs" ban
SetEnvIfNoCase User-Agent "Production Bot" ban
SetEnvIfNoCase User-Agent "Program Shareware" ban
SetEnvIfNoCase User-Agent psbot ban
SetEnvIfNoCase User-Agent PSurf15 ban
SetEnvIfNoCase User-Agent psycheclone ban
SetEnvIfNoCase User-Agent Pump ban
SetEnvIfNoCase User-Agent Reaper ban
SetEnvIfNoCase User-Agent Recorder ban
SetEnvIfNoCase User-Agent ReGet ban
SetEnvIfNoCase User-Agent RSurf15 ban
SetEnvIfNoCase User-Agent Scooter ban
SetEnvIfNoCase User-Agent "searchbot admin@google.com" ban
SetEnvIfNoCase User-Agent "SEO search Crawler" ban
SetEnvIfNoCase User-Agent SEOsearch ban
SetEnvIfNoCase User-Agent ShablastBot ban
SetEnvIfNoCase User-Agent Siphon ban
SetEnvIfNoCase User-Agent SiteSnagger ban
SetEnvIfNoCase User-Agent Snagger ban
SetEnvIfNoCase User-Agent Snake ban
SetEnvIfNoCase User-Agent "snap.com beta crawler" ban
SetEnvIfNoCase User-Agent Snapbot ban
SetEnvIfNoCase User-Agent "sogou develop spider" ban
SetEnvIfNoCase User-Agent "Sogou Orion spider" ban
SetEnvIfNoCase User-Agent "sogou spider" ban
SetEnvIfNoCase User-Agent "Sogou web spider" ban
SetEnvIfNoCase User-Agent "sohu agent" ban
SetEnvIfNoCase User-Agent SpaceBison ban
SetEnvIfNoCase User-Agent SSurf15 ban
SetEnvIfNoCase User-Agent Stripper ban
SetEnvIfNoCase User-Agent Sucker ban
SetEnvIfNoCase User-Agent SuperBot ban
SetEnvIfNoCase User-Agent SuperHTTP ban
SetEnvIfNoCase User-Agent Surfbot ban
SetEnvIfNoCase User-Agent tAkeOut ban
SetEnvIfNoCase User-Agent "Teleport\ Pro" ban
SetEnvIfNoCase User-Agent Triton ban
SetEnvIfNoCase User-Agent TSurf15 ban
SetEnvIfNoCase User-Agent Twiceler ban
SetEnvIfNoCase User-Agent "Under the Rainbow" ban
SetEnvIfNoCase User-Agent Vacuum ban
SetEnvIfNoCase User-Agent VadixBot ban
SetEnvIfNoCase User-Agent VoidEYE ban
SetEnvIfNoCase User-Agent voyager ban
SetEnvIfNoCase User-Agent "W3 SiteSearch Crawler" ban
SetEnvIfNoCase User-Agent W3C_*Validator ban
SetEnvIfNoCase User-Agent W3C-checklink ban
SetEnvIfNoCase User-Agent Weazel ban
SetEnvIfNoCase User-Agent Web.*Spy ban
SetEnvIfNoCase User-Agent "Web\ Image\ Collector" ban
SetEnvIfNoCase User-Agent "Web\ Sucker" ban
SetEnvIfNoCase User-Agent WebAlta ban
SetEnvIfNoCase User-Agent WebAuto ban
SetEnvIfNoCase User-Agent WebCapture ban
SetEnvIfNoCase User-Agent WebCopier ban
SetEnvIfNoCase User-Agent WebFetch ban
SetEnvIfNoCase User-Agent "WebGo\ IS" ban
SetEnvIfNoCase User-Agent WebLeacher ban
SetEnvIfNoCase User-Agent WebMirror ban
SetEnvIfNoCase User-Agent WebReaper ban
SetEnvIfNoCase User-Agent WebRecorder ban
SetEnvIfNoCase User-Agent WebSauger ban
SetEnvIfNoCase User-Agent "Website\ eXtractor" ban
SetEnvIfNoCase User-Agent "Website\ Quester" ban
SetEnvIfNoCase User-Agent WebSpy ban
SetEnvIfNoCase User-Agent Webster ban
SetEnvIfNoCase User-Agent WebStripper ban
SetEnvIfNoCase User-Agent WebVulnCrawl.unknown ban
SetEnvIfNoCase User-Agent WebWhacker ban
SetEnvIfNoCase User-Agent WebZIP ban
SetEnvIfNoCase User-Agent "Wells Search" ban
SetEnvIfNoCase User-Agent "WEP Search" ban
SetEnvIfNoCase User-Agent Wget ban
SetEnvIfNoCase User-Agent Whacker ban
SetEnvIfNoCase User-Agent Widow ban
SetEnvIfNoCase User-Agent www\.asona\.org ban
SetEnvIfNoCase User-Agent WWWOFFLE ban
SetEnvIfNoCase User-Agent "Xaldon\ WebSpider" ban
SetEnvIfNoCase User-Agent Yanga ban
SetEnvIfNoCase User-Agent Zeus ban
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=ban
</Limit>
</IfModule>

  • Upvote 1

Поделиться сообщением

Ссылка на сообщение

Glow    0

Glow
09/12/15 08:19

Заблокировать по ип, по юзер-агенту. Собственно то что у вас есть.

А, ясно, я думал существует какая-нибудь однострочная панацея. Чтож, спасибо за ответ )

 

Рискну посоветовать добавить в .htaccess вот это:

Спасибо, опробую!

Поделиться сообщением

Ссылка на сообщение

Glow    0

Glow
09/12/15 11:24 (изменено)

Список Одмина сократил посещаемость ботов на 25%! Спасибо!

Но некоторые продолжают беспрепятственно "атаковать". Например вот этот гад:

Код из access_log:

5-199-196-117.k-telecom.org - - [12/Sep/2015:14:16:24 +0300] "GET /topic/7320-xxx-yyy-zzz/ HTTP/1.0" 403 155 "-" "Mozilla/5.0 (Linux; U; Android 4.0.4; ru-ru; TAB7000 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Safari/534.30" forum.xxxyyyzzz.ru

Он только за сегодня 7200 раз загружал странички, причем только одну, вот эту /topic/7320-xxx-yyy-zzz/

Как ему ограничить доступ к форуму?

Изменено пользователем Glow

Поделиться сообщением

Ссылка на сообщение

siv1987    2629

siv1987
09/13/15 09:18

Вы на код статуса в логе смотрели?

 

"GET /topic/7320-xxx-yyy-zzz/ HTTP/1.0" 403

Этот хост заблокирован.

Поделиться сообщением

Ссылка на сообщение

Glow    0

Glow
09/13/15 13:58

Я не сильно в этих логах разбираюсь... даже понятия не имел, что эти цифры обозначают! :) Спасибо, теперь я успокоился )

Поделиться сообщением

Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
Перейти к списку тем

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
  • RU
×
  • Создать...