Увеличилась нагрузка на сервер от apache2

[ToxaToxa 0]

Здравствуйте. Нагрузке на сервер внезапно увеличилась от apache2 и выросло количество запросов sql. load average: 0.52, 0.79, 0.88

 

По графикам нагрузки munin - 18 числа вечером произошел рост и так и держится. В server-status все как обычно.

 

Посещаемость особе не выросла. С 800 до 1000 в сутки. До этого нагрузка была не более 0.12

 

По данным аналитикса - на сайте онлайн 15.25 человек. Форум пишет 40.

 

VDS 2x3.5 GHz (Intel Xeon E5) 4GB RAM

 

Edited November 24, 2016 by ToxaToxa

[siv1987 2,616]

Активность поисковых ботов? На сервере кроме форума еще что крутится? Если отключить форум, ситуация меняется?

[ToxaToxa 0]

Если отключить форум - нагрузка сразу падает.

[siv1987 2,616]

Смотрите активность поисковых ботов, если за это время никаких новых модификации или дополнений на форуме не ставили.

[Guest Антон]

Yandex 25238 хитов за сегодня. Возможно, что это он создает такую дикую нагрузку?

[Атаман 456]

Директива Crawl-delay

 

Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

 

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow).

 

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но позволяет ускорить обход сайта.

 

Примеры:

 

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

 

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

[ToxaToxa 0]

И еще хотел спросить, стоит ли закрывать от индексации:

Disallow: /gallery/sizes/ и Disallow: /gallery/album/

[siv1987 2,616]

Yandex 25238 хитов за сегодня. Возможно, что это он создает такую дикую нагрузку?

Возможно. Довольно приличное количество для одного только форума, а там еще дюжина других ботов. Обычно у него такие наплывы временные, потом активность спадает. Такие припадки замечены также у mail. 2-3 дня парсит как сумасшедший, потом активность падает до нормального.

 

 

И еще хотел спросить, стоит ли закрывать от индексации:

Disallow: /gallery/sizes/ и Disallow: /gallery/album/

У вас форум посвящен кулинарии, а в этой тематики изображения имеют значения. Я бы не стал закрыть.

[ToxaToxa 0]

Ну Яндекс жалуется, что у этих страниц нет никаких описаний description и keywords. Вот я и подумал, что картинки могут все же быть доступны для индексации из тем, а сами альбомы галереи и выбор размеров - нет.