Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
ToxaToxa

Увеличилась нагрузка на сервер от apache2

Рекомендованные сообщения

11/24/16 12:57 (изменено)

Здравствуйте. Нагрузке на сервер внезапно увеличилась от apache2 и выросло количество запросов sql. load average: 0.52, 0.79, 0.88

 

По графикам нагрузки munin - 18 числа вечером произошел рост и так и держится. В server-status все как обычно.

 

Посещаемость особе не выросла. С 800 до 1000 в сутки. До этого нагрузка была не более 0.12

 

По данным аналитикса - на сайте онлайн 15.25 человек. Форум пишет 40.

 

VDS 2x3.5 GHz (Intel Xeon E5) 4GB RAM

 

post-57119-0-97683300-1479992219_thumb.pngpost-57119-0-62199400-1479992210_thumb.png post-57119-0-51391800-1479992497_thumb.pngpost-57119-0-93754400-1479993576_thumb.png

Изменено пользователем ToxaToxa

Поделиться сообщением


Ссылка на сообщение

Активность поисковых ботов? На сервере кроме форума еще что крутится? Если отключить форум, ситуация меняется?

Поделиться сообщением


Ссылка на сообщение

Если отключить форум - нагрузка сразу падает.

Поделиться сообщением


Ссылка на сообщение

Смотрите активность поисковых ботов, если за это время никаких новых модификации или дополнений на форуме не ставили.

Поделиться сообщением


Ссылка на сообщение
Гость Антон

Yandex 25238 хитов за сегодня. Возможно, что это он создает такую дикую нагрузку?

Поделиться сообщением


Ссылка на сообщение

Директива Crawl-delay

 

Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

 

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow).

 

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но позволяет ускорить обход сайта.

 

Примеры:

 

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

 

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

Поделиться сообщением


Ссылка на сообщение

И еще хотел спросить, стоит ли закрывать от индексации:

Disallow: /gallery/sizes/ и Disallow: /gallery/album/

Поделиться сообщением


Ссылка на сообщение

Yandex 25238 хитов за сегодня. Возможно, что это он создает такую дикую нагрузку?

Возможно. Довольно приличное количество для одного только форума, а там еще дюжина других ботов. Обычно у него такие наплывы временные, потом активность спадает. Такие припадки замечены также у mail. 2-3 дня парсит как сумасшедший, потом активность падает до нормального.

 

 

И еще хотел спросить, стоит ли закрывать от индексации:

Disallow: /gallery/sizes/ и Disallow: /gallery/album/

У вас форум посвящен кулинарии, а в этой тематики изображения имеют значения. Я бы не стал закрыть.

Поделиться сообщением


Ссылка на сообщение

Ну Яндекс жалуется, что у этих страниц нет никаких описаний description и keywords. Вот я и подумал, что картинки могут все же быть доступны для индексации из тем, а сами альбомы галереи и выбор размеров - нет.

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...