Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
EvgenyK

User Agents для Yandex & Rambler

Recommended Posts

Здравствуйте,

 

напишите пожалуйста параметры для российских поисковиков, в английской версии форума понятно их нету...

 

Нужны User Agent Key: и Regex:

Share this post


Link to post
Share on other sites

Украла у клиента.

 

Yandex (в русской было неправильно, помогли поправить в недавней теме)

User Agent Key – yandex

Regex –

Yandex(Blog|Bot)[ /]([0-9.]{1,10})

 

Aport

User Agent Key – aport

Regex –

Aport

 

Rambler

User Agent Key – rambler

Regex –

StackRambler[ /]([0-9.]{1,10})

 

Nigma

User Agent Key – nigma

Regex –

Nigma[ /]([0-9.]{1,10})

  • Upvote 4

Share this post


Link to post
Share on other sites

Старая тема, но всё же вопрос по делу.

Надоел поисковой бот мейл.ру, приходит сотнями на форум, иногда поднимается до 400-500, я уже думал ддос, но посмотрел ip адрес 217.69.134.178. Так вот поискав, информации о нём не нашёл, как добавить его в юзер агент?

Share this post


Link to post
Share on other sites

Лучше сразу "deny from 217.69.134.178;"

Share this post


Link to post
Share on other sites

но посмотрел ip адрес 217.69.134.178

mail.ru

 

как добавить его в юзер агент

А по аналогии, как выше написано не получается?

 

Лучше сразу "deny from 217.69.134.178;"

Наверное да. Пользы от него немного

Share this post


Link to post
Share on other sites

От себя добавлю еще два "полезных" поисковика:

 deny 194.67.18.0/24; // Aport
 deny 77.91.228.36;   // webalta

 

Меньше чем 200 ботами в одну секунду они не ходят, пользы с них так же ноль.

Share this post


Link to post
Share on other sites

От майла есть неплохой выхлоп. У меня после яндекса и гугла сидит на третьем месте. Имхо не советую банить его бота. Достаточно просто запретить тех. страницы в роботс.тхт. На удивление послушный бот, еще не видел чтобы он забредал на запрещенные страницы. А если он еще и Crawl-delay понимает..

Share this post


Link to post
Share on other sites

От майла есть неплохой выхлоп. У меня после яндекса и гугла сидит на третьем месте.

 

Вот и у меня так же. Так что баннить думаю не вариат.

В роботсе что нужно не индексировать я написал, но вот дело в том, что он смотрит сразу несколько десятков страниц, и использует поиск на форуме, но я поставил интервал 20 секунд.

 

А по аналогии, как выше написано не получается?

 

Да вот и дело в том что нет. Ладно если смотреть по whois ip яндекс бота, можно Regex выцепить, а тут не ясно, то просто mail, то mailru, или mailry-net, не понятно.

 

Насчёт апорта я с вами со всеми согласен, пользы от него 0, но он не совершает набеги по несколько сотен.

Edited by Lesovsky

Share this post


Link to post
Share on other sites

а тут не ясно, то просто mail, то mailru, или mailry-net, не понятно.

везде пишут как Mail.ru

Share this post


Link to post
Share on other sites

Насчёт апорта я с вами со всеми согласен, пользы от него 0, но он не совершает набеги по несколько сотен.

Совершает. Ко мне на сервер сразу > 300 параллельных запросов отправлял.

 

Ну и тут, тут тоже сталкивались с ним)

Share this post


Link to post
Share on other sites

Совершает. Ко мне на сервер сразу > 300 параллельных запросов отправлял.

 

Я не спорю, было дело и у меня так же, но как в юзер агент добавил перестал налетать, вот думаю с мейл.ру так же прокатит. Просто почти 700 ботов, хорошо хостинг выдержал, судорожно начал смотреть статистику нагрузки, хорошо через лимиты не перелез, а то заблокировали бы на время аккаунт...

Share this post


Link to post
Share on other sites
В роботсе что нужно не индексировать я написал, что он смотрит сразу несколько десятков страниц, и использует поиск на форуме, но я поставил интервал 20 секунд.

 

Вообще-то боты не умеют отправлять формы поиска. Они скачивают страницы по урлу, если в индекс попали страницы относящиеся к поиску значит на них ведут ссылки с сайта и доступ к ним в роботс не запрещен.

 

Ладно если смотреть по whois ip яндекс бота, можно Regex выцепить

Не туда смотрите - http://help.yandex.ru/webmaster/?id=995329

Share this post


Link to post
Share on other sites

Не туда смотрите - http://help.yandex.ru/webmaster/?id=995329

 

Я знаю про это, но и по ip можно определить какой бот яндекса забрёл.

Товарищи, мы не много не в том направлении ушли, я считаю если добавить бот мейл.ру в юзер агент, то перестанет набегать по несколько сотен, но вот бы определить его Regex и тогда больше мне нечего не нужно будет.)

Share this post


Link to post
Share on other sites

Добавил такой regex:

 

Mail.ru[ /]([0-9.]{1,10})

 

Буду ждать, отобразится или нет.

  • Upvote 1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...