Боты или поисковики

[pigeons 0]

Здравствуйте Уважаемые! Просьба помочь как мне избавиться от этих поисковиков а то они очень нагружаю сервер,заранее благодарен.

[siv1987 2625]

157.55.39.* - это подсеть бинга.

 

Для начала нужно прописать юзер-агент бинга в настройках форума, чтобы не создавать кучу сессии для каждого бота - что немножко снизит нагрузку на сервер. АЦ -> Настройки -> Боты поисковых систем:

Активировать распознание поисковых ботов? - Да

В "Агент бота" добавить

bingbot=Bing Bot

 

Потом ограничить время сканирования на 5 сек при следующем запросе, в robots.txt добавив (что такое robots.txt 1 2):

User-agent: bingbot
User-agent: msnbot
Disallow:
Craw-delay: 5

Либо вообще запретить сканирования форума:

User-agent: bingbot
User-agent: msnbot
Disallow: /

 

Ну если совсем уж достал, и нужно решить вопрос кардинально, забанить ип адреса на уровне сервера добавив в .htaccess:

Deny from 157.55.39.0/24

[pigeons 0]

Спасибо большое все получилось вроде сервер больше не ругается на загрузку.