Защита от спама, ботов, тотального скачивания v.1

[Zero108 124]

Защита от спама, ботов, тотального скачивания v.1

 

Version: 1.0.0

Category: Mods/Моды

Description: Данный мод позволяет защитить любой сайт от тотального сканирования, спама и скачивания.

Условия пользования: бесплатно.

Версии форума: так как файлы форума во время установки не затрагиваются, то, в принципе, подходит для

всех форумов линейки IPB, а также может быть установлен при начальном знании программирования на большинство сайтов и форумов других систем.

Авторы: Zero108 и неизвестные программисты, написавшие изначальный код скрипта.

Принцип работы: Не секрет, что большинство спаммеров и хакеров используют различные

сканирующие боты для поиска уязвимости в сети на различных сайтах. Если у вас на

сайте (форуме) есть страница с дырявым скриптом, то такой бот его находит перебирая по порядку все ссылки

вашего сайта. Аналогичным образом действуют поисковые боты, а также качальки для тотального

скачивания сайта.

 

Скрипт размещает на каждой странице сайта скрытую от глаз ссылку (можно несколько), по которой человек не перейдет,

а бот перейдет и будет автоматически забанен по IP на определенное время (настраивается).

 

Для утсановки на форум ipb 2.3.6 не нужно править никаких файлов форума, что, определенно, является преимуществом.

Грамотная настройка занимает 15 минут.

 

Список забаненных ботов можно в любой момент посмотреть в файле ban.log. В файле ban.txt хранится список сессий скрипта.

 

Внимание: данный скрипт не является панацеей от всех бед и ботов, но позволяет значительно

снизить нагрузку на сервер и нервы админа форума за счет отсеивания на ранних этапах большого количества

ненужных запросов к сайту.

 

Побочные эффекты: 1) Некоторые боты малоизвестных поисковых серверов (а-ля ВасяПупкинГуглКруто.ru) будут забанены.

2) Нехорошие дяденьки с волосатыми руками и наколками типа "10 лет успешного хака" будут кусать локти, так как

их сканилка будет забанена, а искать дыры другими способами на вашем супер мега популярном форуме у них нет времени. И т.д.

 

Глюки: не замечено. Если найдете, пишите в топик.

 

Установка на форум IPB:

 

1) Скачать архив inc.rar (7 кб).

 

View File

 

2) Разархивировать архив в отдельную папку inc (папка в архиве сохранена).

 

3) (по желанию, необязательный пункт)

Открыть файл flooders.inc.php.

В строке 25:

function Flooders($filename="flooders.txt",$timeout=600) {

Заменить 600 на любое число, означающее время в секундах, на которое будет забанен нежелательный посетитель (бот).

Обычно, 600 - достаточное время, чтобы бот понял, что ловить нечего и удалился. Можно поставить и 3600, например.

 

4) (по желанию, необязательный пункт)

Открыть файл link.php.

Отредактировать список разрешенных ботов. Например, строки

$f->AddAlowAgent("StackRambler");
$f->AddAlowAgent("Googlebot");
$f->AddAlowAgent("Yandex");

будут означать, что боты поисковиков от Rambler, Google и Yandex забанены не будут.

 

А строка

$f->AddAlowIP("82.82.182.182");

, что посетитель (бот или человек) с ip = 82.82.182.182 забанен не будет.

 

Все остальные боты, не указанные в этом списке, будут забанены. Поверьте, их очень много. Забанив их, вам,

возможно, не надо будет покупать более дорогой хостинг из-за того, что у вас не хватает оперативной памяти на

вашем тарифном плане. Именно поэтому ассоциация провайдеров не стремится популяризировать этот скрипт и автор

активно разыскивается наемниками. :D

 

5) (по желанию, необязательный пункт)

Произвести аналогичные п.4 изменения для файла flooders.php. В идеале списки ботов и ip адресов файлов link.php и flooders.php должны быть идентичными.

 

6) Загрузить папку inс вместе со всеми файлами на сервер, в корень форума.

 

7) Установить права CHMOD на сервере на папку inc = 755.

 

8) Установить права на сервере на файлы в папке inc:

ban.log = 777

ban.txt = 777

flooders.inc.php = 644

flooders.php = 644

link.php = 644

link.gif = 644

 

9) Отредактировать каждый из установленных на форуме шаблонов. Для этого:

Зайти в Админ центр (АЦ) -> ВНЕШНИЙ ВИД -> Изменить общий шаблон форума (для каждого из установленных шаблонов) ->

 

найти:

<body>

 

заменить на:

<body>
<div style="visibility:hidden; display:none;"><a href="inc/link.php">Link</a></div>
<div style="visibility:hidden; display:none;">
<a href="inc/logo3.gif"><img src="inc/link.gif" border="0" width="1" height="1"/></a>
</div>

Нажать на кнопу "Сохранить общий шаблон".

 

10) Скачать с сервера файл .htaccess

Если нет директивы RewriteEngine On, то добавить следующее в конец файла:

 

RewriteEngine On
RewriteRule   ^inc/logo3.gif$  /link.php
RewriteRule ^flooders.php$ /flooders.php [L]

 

Загрузить файл .htaccess обратно на сервер.

 

Уточнение: Пункты 3, 4, 5 выполнять не обязательно. Скрипт уже содержит около 50 разрешенных ботов поисковых систем типа гугла, яху и т.д.

Edited February 1, 2011 by Fisana

[Fisana 700]

Мод полезный, думаю.

Но Гугль, Рамблер и Яндекс – капля в море полезных ботов.

Надо расширить список.

И в том же Яндексе могут быть нестандартные индексирующие боты...

 

Попробую позвать сюда людей, которые помогут советом.

[Zero108 124]

Там около 50 ботов. В описании лишь пример из 3-х.

 

И вообще, пусть Рамблер подстраивается сам под скрипт, нафик :D

Edited January 7, 2010 by Zero108

[mrZer0 0]

Фильтрация ботов по юзерагенту - не самый удачный выбор...

Взять ту же проверку на клоакинг к примеру. Бот будет иметь иной юзерагент и будет запрашивать страницы для сравнения, скрипт его пошлёт на фиг и в итоге есть вероятность (пусть и небольшая, но, тем не менее, есть) вылета сайта за использование одного из самых "чёрных" методов манипуляции выдачей ПС...

Edited January 10, 2010 by mrZer0

[Zero108 124]

бот будет иметь иной юзерагент и будет запрашивать страницы для сравнения

 

Насколько я знаю, все уважающие себя поисковики (гугл, например), всегда подписываются для избежания таких вот случаев одинаково. А остальные, типа яндекса и рамблера, могут и проверить другим ботом. Но, про рамблер я уже писал выше.

 

Пока ни откуда не вылетел.

 

А вообще, если не можете усовершенствовать, то говорить не очем, имхо.

Edited January 10, 2010 by Zero108

[mrZer0 0]

...

А вообще, если не можете усовершенствовать, то говорить не очем, имхо.

Спорить не буду... Скажу лишь, что все "нехорошие дяденьки с волосатыми руками" уже сто лет как умеют прикидываться ботами ПС, так что толку от такой защиты нет...

[Zero108 124]

Да, я слышал и про то, что ip адреса подделывают.

 

Там есть пункт Внимание: - почитайте. Я бы не был так критичен и не говорил про "всех волосатых дяденек". Говна я повидал, которое изо рта лезет за нимением сказать, уж поверьте.

 

Наиболее часто прикыдаваются как раз браузером,а не ботом ПС.

 

Смотрите лог.

 

 

 

2009-12-01 07:29:36 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-02 04:01:21 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-03 00:07:25 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-04 09:11:13 [174.127.132.10|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)

2009-12-05 10:33:03 [89.149.209.11|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-07 10:14:33 [194.8.75.251|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-14 19:22:40 [93.174.93.222|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-18 11:21:38 [93.174.93.222|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-22 15:31:31 [65.55.110.24|] Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 1.1.4325; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648)

2009-12-22 20:26:00 [188.92.75.82|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2009-12-28 03:59:35 [174.127.132.124|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)

2010-01-03 07:24:21 [98.197.92.155|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2010-01-06 16:25:20 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2010-01-07 00:53:56 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2010-01-10 19:21:24 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

2010-01-11 01:02:56 [95.168.162.64|] Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

Edited January 11, 2010 by Zero108

[Minnow 0]

10) Скачать с сервера файл .htaccess

Если нет директивы RewriteEngine On, то добавить следующее в конец файла:

 

RewriteEngine On
RewriteRule   ^inc/logo3.gif$  /link.php
RewriteRule ^flooders.php$ /flooders.php [L]

 

Загрузить файл .htaccess обратно на сервер.

Здравствуйте.

 

О каком файле .htaccess идет речь? Который в общей директории находится? Или в директории форума? У меня в директории форума нет такого файла.

[Sid0r 0]

Здравствуйте.

 

О каком файле .htaccess идет речь? Который в общей директории находится? Или в директории форума? У меня в директории форума нет такого файла.

 

+1 не могу найти этот файл, подскажите где искать

[Ph-A 395]

О каком файле .htaccess идет речь?

.htaccess

 

Который в общей директории находится?

Да. Можно и тут. Не принципиально.

 

Или в директории форума? У меня в директории форума нет такого файла.

Не кто не мешает его создать ...

[egor2011 0]

Здравствуйте. У меня такой вопрос

При добавлении данных в htaccess, форум становится недоступен - ошибка 500.

Подскажите, я что-то неправильно делаю или этот мод не подходит для версии 2.3.6

[Ph-A 395]

При добавлении данных в htaccess, форум становится недоступен - ошибка 500.

На хостинге стоит mod_rewrite?

[_TuXaMaT_ 0]

Объясните поподробнее. Что такое mod_rewrite и что мне требовать от провайдера?

[_TuXaMaT_ 0]

странно через какое-то время заработал...

[avil 0]

Жму ссылку viewFile и файла там нет.