Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
EvgenyK

User Agents для Yandex & Rambler

Рекомендованные сообщения

Здравствуйте,

 

напишите пожалуйста параметры для российских поисковиков, в английской версии форума понятно их нету...

 

Нужны User Agent Key: и Regex:

Поделиться сообщением


Ссылка на сообщение

Украла у клиента.

 

Yandex (в русской было неправильно, помогли поправить в недавней теме)

User Agent Key – yandex

Regex –

Yandex(Blog|Bot)[ /]([0-9.]{1,10})

 

Aport

User Agent Key – aport

Regex –

Aport

 

Rambler

User Agent Key – rambler

Regex –

StackRambler[ /]([0-9.]{1,10})

 

Nigma

User Agent Key – nigma

Regex –

Nigma[ /]([0-9.]{1,10})

  • Upvote 4

Поделиться сообщением


Ссылка на сообщение

Старая тема, но всё же вопрос по делу.

Надоел поисковой бот мейл.ру, приходит сотнями на форум, иногда поднимается до 400-500, я уже думал ддос, но посмотрел ip адрес 217.69.134.178. Так вот поискав, информации о нём не нашёл, как добавить его в юзер агент?

Поделиться сообщением


Ссылка на сообщение

Лучше сразу "deny from 217.69.134.178;"

Поделиться сообщением


Ссылка на сообщение

но посмотрел ip адрес 217.69.134.178

mail.ru

 

как добавить его в юзер агент

А по аналогии, как выше написано не получается?

 

Лучше сразу "deny from 217.69.134.178;"

Наверное да. Пользы от него немного

Поделиться сообщением


Ссылка на сообщение

От себя добавлю еще два "полезных" поисковика:

 deny 194.67.18.0/24; // Aport
 deny 77.91.228.36;   // webalta

 

Меньше чем 200 ботами в одну секунду они не ходят, пользы с них так же ноль.

Поделиться сообщением


Ссылка на сообщение

От майла есть неплохой выхлоп. У меня после яндекса и гугла сидит на третьем месте. Имхо не советую банить его бота. Достаточно просто запретить тех. страницы в роботс.тхт. На удивление послушный бот, еще не видел чтобы он забредал на запрещенные страницы. А если он еще и Crawl-delay понимает..

Поделиться сообщением


Ссылка на сообщение
06/08/11 11:41 (изменено)

От майла есть неплохой выхлоп. У меня после яндекса и гугла сидит на третьем месте.

 

Вот и у меня так же. Так что баннить думаю не вариат.

В роботсе что нужно не индексировать я написал, но вот дело в том, что он смотрит сразу несколько десятков страниц, и использует поиск на форуме, но я поставил интервал 20 секунд.

 

А по аналогии, как выше написано не получается?

 

Да вот и дело в том что нет. Ладно если смотреть по whois ip яндекс бота, можно Regex выцепить, а тут не ясно, то просто mail, то mailru, или mailry-net, не понятно.

 

Насчёт апорта я с вами со всеми согласен, пользы от него 0, но он не совершает набеги по несколько сотен.

Изменено пользователем Lesovsky

Поделиться сообщением


Ссылка на сообщение

а тут не ясно, то просто mail, то mailru, или mailry-net, не понятно.

везде пишут как Mail.ru

Поделиться сообщением


Ссылка на сообщение

Насчёт апорта я с вами со всеми согласен, пользы от него 0, но он не совершает набеги по несколько сотен.

Совершает. Ко мне на сервер сразу > 300 параллельных запросов отправлял.

 

Ну и тут, тут тоже сталкивались с ним)

Поделиться сообщением


Ссылка на сообщение

Совершает. Ко мне на сервер сразу > 300 параллельных запросов отправлял.

 

Я не спорю, было дело и у меня так же, но как в юзер агент добавил перестал налетать, вот думаю с мейл.ру так же прокатит. Просто почти 700 ботов, хорошо хостинг выдержал, судорожно начал смотреть статистику нагрузки, хорошо через лимиты не перелез, а то заблокировали бы на время аккаунт...

Поделиться сообщением


Ссылка на сообщение
В роботсе что нужно не индексировать я написал, что он смотрит сразу несколько десятков страниц, и использует поиск на форуме, но я поставил интервал 20 секунд.

 

Вообще-то боты не умеют отправлять формы поиска. Они скачивают страницы по урлу, если в индекс попали страницы относящиеся к поиску значит на них ведут ссылки с сайта и доступ к ним в роботс не запрещен.

 

Ладно если смотреть по whois ip яндекс бота, можно Regex выцепить

Не туда смотрите - http://help.yandex.ru/webmaster/?id=995329

Поделиться сообщением


Ссылка на сообщение

Не туда смотрите - http://help.yandex.ru/webmaster/?id=995329

 

Я знаю про это, но и по ip можно определить какой бот яндекса забрёл.

Товарищи, мы не много не в том направлении ушли, я считаю если добавить бот мейл.ру в юзер агент, то перестанет набегать по несколько сотен, но вот бы определить его Regex и тогда больше мне нечего не нужно будет.)

Поделиться сообщением


Ссылка на сообщение

Добавил такой regex:

 

Mail.ru[ /]([0-9.]{1,10})

 

Буду ждать, отобразится или нет.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...