Ловушка для поисковиков - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

оптимизация ipb

Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Ловушка для поисковиков

#1 Пользователь не на сайте   desti ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Specialist
  • Сообщений: 275
  • Регистрация: 06-Сентябрь 07
  • Репутация: 10
  • Откуда:Москва
  • IPB version:3.1.x
 

Отправлено 08 Октябрь 2008 - 22:34

Сейчас, похоже, только ленивый не пишет поисковики. И вот шарятся эти PupkinBot-ы по форумам, мешают нормально работать.
Файл robots.txt они не читают принципиально. Этот скриптик был написан именно для таких самородков.

Шаг 1.

На главной странице добавляем такую ссылку:
<a href='http://www.yourdomain.ru/catch_bots/index.php'><img src="http://www.yourdomain.ru/images/link.gif" border="0" alt="" width="1" height="1"></a>


link.gif - файл размером 1х1, прозрачный. Директорию catch_bots можно назвать как угодно. Главное, чтобы она была и в ней лежал такой файлик с именем index.php

<?php
	  extract($_SERVER);
	  echo "<html><head><title>Попался!</title></head><body><p>Здравствуй, тупой робот!</p></body></html>";

	  $found = 0;
	  $filename = "./botlist.txt";
	  $fp = fopen($filename, "r") or die ("Error opening log file");

	  while ($line = fgets($fp,255)) {
		$str = explode(" ",$line);
		$ip = $str[0];
		if (preg_match("/$ip/",$REMOTE_ADDR)) {$found++;}
	  }
	  fclose($fp);

	  if ($found == 0) {
		$fp = fopen($filename,'a+');
		fwrite($fp,"$REMOTE_ADDR $HTTP_USER_AGENT\n");
		fclose($fp);
	  }
?>


Пустой файл botlist.txt нужно создать руками в директории-ловушке.
Последнее действие - добавить в robots.txt строки (или только строку disallow, если User-agent уже есть)

User-agent: *
Disallow: /catch_bots/


Глупый робот, просматривая главную страничку, натыкается на невидимую ссылку и попадает в ловушку. Дальше вы можете внести его IP в htaccess и забыть про дурачка.

Вот кусочек моего лога за последний месяц. Эти твари даже в user-agent не пишут, кто они.. А один отличился, добавив туда строку "User-agent" :D

62.163.14.9 Java/1.6.0_04
81.88.208.187 HTMLParser/1.6
212.57.108.57 (compatible; MSIE 5.0; Windows NT)
67.159.44.112 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
78.129.196.177 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
67.228.201.58 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
65.198.140.246 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
78.129.202.17 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
208.101.45.18 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
205.234.132.47 User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
216.255.187.154 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
91.144.174.47 Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)
217.118.92.43 Mozilla/3.0 (compatible)
195.34.197.185 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 5.0 (build 02072)
1

#2 Пользователь не на сайте   OnArs ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 38
  • Регистрация: 08-Октябрь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 10 Декабрь 2008 - 16:29

Классная штука! Проблема ведь действительно существует!
А вообще Я так думаю скрипт и идею можно заюзать не только на движке IPB :)
0

#3 Пользователь не на сайте   Ph-A ответил: »

 
 
  • Advanced
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 5 567
  • Регистрация: 18-Сентябрь 06
  • Репутация: 393
  • Откуда:Moscow
  • IPB version:3.1.x
 

Отправлено 10 Декабрь 2008 - 17:13

Просмотреть сообщениеOnArs Dec 10 2008, 05:30 PM сказал(а):

А вообще Я так думаю скрипт и идею можно заюзать не только на движке IPB :)

Смысл?

Процитирую высказывание с одного форума, посвященной одной CMS

Цитата

А как вы видите решение с помощью сессий? Многие боты пингуют с нескольких IP одной подсети, стартуя на кждом адресе новую сессию. Сегодня к примеру, на одном сайте, где обычно бывает 200-300 посетителей за день прошелся бот, под видом 400 посетителей. За час. Сессии менялись, IP менялись. И ведь ничего гад не делал - просто шастал...


Я давно отказался от блокирование ip адресов. Вреда от этого больше, чем пользы.
0

#4 Пользователь не на сайте   dalmatin ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 16
  • Регистрация: 30-Март 09
  • Репутация: 0
  • Откуда:Санкт-Петербург
  • IPB version:2.3.x
 

Отправлено 04 Апрель 2009 - 16:51

Я к сожалению криворук, то есть написать ничего на php не в состоянии. И как ведут себя боты, тоже не знаю. Но может эта ловушка не так уж и плоха? Но не для собирания апи-адресов. Может, её можно использовать для перенаправления бота на другой сайт? Возможно ли из ловушки создать страницу для принудительного прощания с ботом?
0

#5 Пользователь не на сайте   Grandsire ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 76
  • Регистрация: 19-Январь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 04 Апрель 2009 - 23:29

ну ходят они себе и ходят...ну и пускай ходят)))чем они мешают?Что портят на сайте,форуме?
0

#6 Пользователь не на сайте   dalmatin ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 16
  • Регистрация: 30-Март 09
  • Репутация: 0
  • Откуда:Санкт-Петербург
  • IPB version:2.3.x
 

Отправлено 05 Апрель 2009 - 16:55

Просмотреть сообщениеGrandsire Apr 5 2009, 12:30 AM сказал(а):

ну ходят они себе и ходят...ну и пускай ходят)))чем они мешают?Что портят на сайте,форуме?

Если на форуме в день 10 человек, то в самом деле, пусть хоть боты походят. А если хотя бы 1000 и бывает ситуация, что на форуме 100 человек одновременно, а 50 из них что-то ещё и пишут, то как-то кроме Яндекса и Гугла видеть никого не хочется. Да и то ограниченных Crawl-delay.
Мешают они дополнительной нагрузкой на сервер хостера.
0

#7 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 191
  • Регистрация: 21-Ноябрь 05
  • Репутация: 698
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 05 Апрель 2009 - 17:03

Просто все лишнее закройте от индексации, чтобы они в недрах календаря, списка пользователей и т.д. не лазили, нагрузка и уменьшится.
0

Сообщить об этой теме:


Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2017 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна