Здравствуйте. Нагрузке на сервер внезапно увеличилась от apache2 и выросло количество запросов sql. load average: 0.52, 0.79, 0.88

 

По графикам нагрузки munin - 18 числа вечером произошел рост и так и держится. В server-status все как обычно.

 

Посещаемость особе не выросла. С 800 до 1000 в сутки. До этого нагрузка была не более 0.12

 

По данным аналитикса - на сайте онлайн 15.25 человек. Форум пишет 40.

 

VDS 2x3.5 GHz (Intel Xeon E5) 4GB RAM

 

Изменено 24 ноября 20169 г пользователем ToxaToxa

Активность поисковых ботов? На сервере кроме форума еще что крутится? Если отключить форум, ситуация меняется?

Если отключить форум - нагрузка сразу падает.

Смотрите активность поисковых ботов, если за это время никаких новых модификации или дополнений на форуме не ставили.

Yandex 25238 хитов за сегодня. Возможно, что это он создает такую дикую нагрузку?

Директива Crawl-delay

 

Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

 

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow).

 

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но позволяет ускорить обход сайта.

 

Примеры:

 

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

 

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

И еще хотел спросить, стоит ли закрывать от индексации:

Disallow: /gallery/sizes/ и Disallow: /gallery/album/

Yandex 25238 хитов за сегодня. Возможно, что это он создает такую дикую нагрузку?

Возможно. Довольно приличное количество для одного только форума, а там еще дюжина других ботов. Обычно у него такие наплывы временные, потом активность спадает. Такие припадки замечены также у mail. 2-3 дня парсит как сумасшедший, потом активность падает до нормального.

 

 

И еще хотел спросить, стоит ли закрывать от индексации:

Disallow: /gallery/sizes/ и Disallow: /gallery/album/

У вас форум посвящен кулинарии, а в этой тематики изображения имеют значения. Я бы не стал закрыть.

Ну Яндекс жалуется, что у этих страниц нет никаких описаний description и keywords. Вот я и подумал, что картинки могут все же быть доступны для индексации из тем, а сами альбомы галереи и выбор размеров - нет.