User Agents для Yandex & Rambler

[EvgenyK 1]

Здравствуйте,

 

напишите пожалуйста параметры для российских поисковиков, в английской версии форума понятно их нету...

 

Нужны User Agent Key: и Regex:

[Fisana 700]

Украла у клиента.

 

Yandex (в русской было неправильно, помогли поправить в недавней теме)

User Agent Key – yandex

Regex –

Yandex(Blog|Bot)[ /]([0-9.]{1,10})

 

Aport

User Agent Key – aport

Regex –

Aport

 

Rambler

User Agent Key – rambler

Regex –

StackRambler[ /]([0-9.]{1,10})

 

Nigma

User Agent Key – nigma

Regex –

Nigma[ /]([0-9.]{1,10})

[Lesovsky 171]

Старая тема, но всё же вопрос по делу.

Надоел поисковой бот мейл.ру, приходит сотнями на форум, иногда поднимается до 400-500, я уже думал ддос, но посмотрел ip адрес 217.69.134.178. Так вот поискав, информации о нём не нашёл, как добавить его в юзер агент?

[Ritsuka 540]

Лучше сразу "deny from 217.69.134.178;"

[Ph-A 395]

но посмотрел ip адрес 217.69.134.178

mail.ru

 

как добавить его в юзер агент

А по аналогии, как выше написано не получается?

 

Лучше сразу "deny from 217.69.134.178;"

Наверное да. Пользы от него немного

[Ritsuka 540]

От себя добавлю еще два "полезных" поисковика:

 deny 194.67.18.0/24; // Aport
 deny 77.91.228.36;   // webalta

 

Меньше чем 200 ботами в одну секунду они не ходят, пользы с них так же ноль.

[siv1987 2628]

От майла есть неплохой выхлоп. У меня после яндекса и гугла сидит на третьем месте. Имхо не советую банить его бота. Достаточно просто запретить тех. страницы в роботс.тхт. На удивление послушный бот, еще не видел чтобы он забредал на запрещенные страницы. А если он еще и Crawl-delay понимает..

[Lesovsky 171]

От майла есть неплохой выхлоп. У меня после яндекса и гугла сидит на третьем месте.

 

Вот и у меня так же. Так что баннить думаю не вариат.

В роботсе что нужно не индексировать я написал, но вот дело в том, что он смотрит сразу несколько десятков страниц, и использует поиск на форуме, но я поставил интервал 20 секунд.

 

А по аналогии, как выше написано не получается?

 

Да вот и дело в том что нет. Ладно если смотреть по whois ip яндекс бота, можно Regex выцепить, а тут не ясно, то просто mail, то mailru, или mailry-net, не понятно.

 

Насчёт апорта я с вами со всеми согласен, пользы от него 0, но он не совершает набеги по несколько сотен.

Изменено 8 июня 2011 пользователем Lesovsky

[Ph-A 395]

а тут не ясно, то просто mail, то mailru, или mailry-net, не понятно.

везде пишут как Mail.ru

[Ritsuka 540]

Насчёт апорта я с вами со всеми согласен, пользы от него 0, но он не совершает набеги по несколько сотен.

Совершает. Ко мне на сервер сразу > 300 параллельных запросов отправлял.

 

Ну и тут, тут тоже сталкивались с ним)

[Lesovsky 171]

Совершает. Ко мне на сервер сразу > 300 параллельных запросов отправлял.

 

Я не спорю, было дело и у меня так же, но как в юзер агент добавил перестал налетать, вот думаю с мейл.ру так же прокатит. Просто почти 700 ботов, хорошо хостинг выдержал, судорожно начал смотреть статистику нагрузки, хорошо через лимиты не перелез, а то заблокировали бы на время аккаунт...

[siv1987 2628]

В роботсе что нужно не индексировать я написал, что он смотрит сразу несколько десятков страниц, и использует поиск на форуме, но я поставил интервал 20 секунд.

 

Вообще-то боты не умеют отправлять формы поиска. Они скачивают страницы по урлу, если в индекс попали страницы относящиеся к поиску значит на них ведут ссылки с сайта и доступ к ним в роботс не запрещен.

 

Ладно если смотреть по whois ip яндекс бота, можно Regex выцепить

Не туда смотрите - http://help.yandex.ru/webmaster/?id=995329

[Lesovsky 171]

Не туда смотрите - http://help.yandex.ru/webmaster/?id=995329

 

Я знаю про это, но и по ip можно определить какой бот яндекса забрёл.

Товарищи, мы не много не в том направлении ушли, я считаю если добавить бот мейл.ру в юзер агент, то перестанет набегать по несколько сотен, но вот бы определить его Regex и тогда больше мне нечего не нужно будет.)

[siv1987 2628]

но вот бы определить его Regex и тогда больше мне нечего не нужно будет.)

http://ipbskins.ru/forum/topic5916.html#entry50801

[Lesovsky 171]

Добавил такой regex:

 

Mail.ru[ /]([0-9.]{1,10})

 

Буду ждать, отобразится или нет.