Никак не могу справиться с некоторыми поисковыми ботами, уже блокал их по IP в .htaccess, и в настройках самого форума в бан фильтре. Но некоторые упорно не хотят уходить.
Вот IP адрес самого активного - 5.199.196.117.
Подскажите пожалуйста, как вообще (полностью) оградить свой форум от поисковых ботов? Может быть есть какая-то команда?
Еще такой вопрос, подскажите, возможно я делаю что-то не так... Вот мой .htaccess:
<IfModule mod_rewrite.c>
Options -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
Deny from 157.55.39.0/24 #bingbot
Deny from 157.55.39.117 #bingbot
Deny from 157.55.39.55 #bingbot
Deny from 207.46.13.0/24 #bingbot
Deny from 207.46.13.136 #bingbot
Deny from 157.55.39.92 #bingbot
Deny from msnbot-207-46-13-136.search.msn.com #bingbot
Deny from 68.180.230.0/24 #yahoobot
Deny from 5.255.253.0/24 #yahoobot
Deny from 151.80.31.0/24 #ahrefsbot
Deny from 217.69.134.0/24 #mailrubot
Deny from 217.69.134.30 #mailrubot
Deny from fetcher-fast1-7.p.mail.ru #mailrubot
Deny from fetcher-fast1-6.p.mail.ru #mailrubot
Deny from fetcher-fast1-5.p.mail.ru #mailrubot
Deny from fetcher-fast1-4.p.mail.ru #mailrubot
Deny from fetcher-fast1-3.p.mail.ru #mailrubot
Deny from fetcher-fast1-2.p.mail.ru #mailrubot
Deny from fetcher-fast1-1.p.mail.ru #mailrubot
Deny from fetcher2.p.mail.ru #mailrubot
Deny from 217.69.134.13 #mailrubot
Deny from 5.199.209.53 #???
Deny from 5-199-209-53.k-telecom.org #???
Deny from 66.249.78.0/24 #googlebot
Deny from 66.249.78.89 #googlebot
Deny from 66.249.78.96 #googlebot
Deny from 93.158.178.0/24 #yandexbot
Deny from 93.158.178.173 #yandexbot
Deny from 93.158.178.130 #yandexmobilebot
Deny from trbo33g.trbo.yandex.net #yandexbot
Deny from 84.201.138.25 #yandexbot
Deny from netherfield.didici.be #MJ12bot
Deny from 195.154.157.47 #MJ12bot
Deny from 46-36-28-185.in-addr.arpa #???
Deny from 46.36.28.185 #???
Deny from 46.36.28.0/24 #???
Deny from 185.28.36.46 #???
Deny from 185.28.36.0/24 #???
Deny from 217.69.134.0/24 #???
Deny from 5.199.196.117 #???
Deny from 5.199.196.0/24 #???
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>
Подскажите, все ли верно в нем прописано?
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Никак не могу справиться с некоторыми поисковыми ботами, уже блокал их по IP в .htaccess, и в настройках самого форума в бан фильтре. Но некоторые упорно не хотят уходить.
Вот IP адрес самого активного - 5.199.196.117.
Подскажите пожалуйста, как вообще (полностью) оградить свой форум от поисковых ботов? Может быть есть какая-то команда?
Еще такой вопрос, подскажите, возможно я делаю что-то не так... Вот мой .htaccess:
<IfModule mod_rewrite.c> Options -MultiViews RewriteEngine On RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] </IfModule> Deny from 157.55.39.0/24 #bingbot Deny from 157.55.39.117 #bingbot Deny from 157.55.39.55 #bingbot Deny from 207.46.13.0/24 #bingbot Deny from 207.46.13.136 #bingbot Deny from 157.55.39.92 #bingbot Deny from msnbot-207-46-13-136.search.msn.com #bingbot Deny from 68.180.230.0/24 #yahoobot Deny from 5.255.253.0/24 #yahoobot Deny from 151.80.31.0/24 #ahrefsbot Deny from 217.69.134.0/24 #mailrubot Deny from 217.69.134.30 #mailrubot Deny from fetcher-fast1-7.p.mail.ru #mailrubot Deny from fetcher-fast1-6.p.mail.ru #mailrubot Deny from fetcher-fast1-5.p.mail.ru #mailrubot Deny from fetcher-fast1-4.p.mail.ru #mailrubot Deny from fetcher-fast1-3.p.mail.ru #mailrubot Deny from fetcher-fast1-2.p.mail.ru #mailrubot Deny from fetcher-fast1-1.p.mail.ru #mailrubot Deny from fetcher2.p.mail.ru #mailrubot Deny from 217.69.134.13 #mailrubot Deny from 5.199.209.53 #??? Deny from 5-199-209-53.k-telecom.org #??? Deny from 66.249.78.0/24 #googlebot Deny from 66.249.78.89 #googlebot Deny from 66.249.78.96 #googlebot Deny from 93.158.178.0/24 #yandexbot Deny from 93.158.178.173 #yandexbot Deny from 93.158.178.130 #yandexmobilebot Deny from trbo33g.trbo.yandex.net #yandexbot Deny from 84.201.138.25 #yandexbot Deny from netherfield.didici.be #MJ12bot Deny from 195.154.157.47 #MJ12bot Deny from 46-36-28-185.in-addr.arpa #??? Deny from 46.36.28.185 #??? Deny from 46.36.28.0/24 #??? Deny from 185.28.36.46 #??? Deny from 185.28.36.0/24 #??? Deny from 217.69.134.0/24 #??? Deny from 5.199.196.117 #??? Deny from 5.199.196.0/24 #??? SetEnvIfNoCase User-Agent "^Yandex" search_bot SetEnvIfNoCase User-Agent "^Yahoo" search_bot SetEnvIfNoCase User-Agent "^Googlebot" search_bot SetEnvIfNoCase User-Agent "^Aport" search_bot SetEnvIfNoCase User-Agent "^msnbot" search_bot SetEnvIfNoCase User-Agent "^spider" search_bot SetEnvIfNoCase User-Agent "^Robot" search_bot SetEnvIfNoCase User-Agent "^php" search_bot SetEnvIfNoCase User-Agent "^Mail" search_bot SetEnvIfNoCase User-Agent "^bot" search_bot SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot SetEnvIfNoCase User-Agent "^Snapbot" search_bot SetEnvIfNoCase User-Agent "^WordPress" search_bot SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot SetEnvIfNoCase User-Agent "^Parser" search_bot <FilesMatch "^.*$"> Order Allow,Deny Allow from all Deny from env=search_bot </FilesMatch>Подскажите, все ли верно в нем прописано?