Превышении использования лимиты виртуальной памяти Board 3.4.7

[kleda]

Хостинг на РУ.центре.

Тариф 301

Внезапно использование виртуальной памяти стала зашкаливать. Из-за чего форум стал долго загружаться,зависать. А ру.центр отключать.

Обращение в тех поддержку ничем не увенчалось рекомендовали обратиться к разработчикам.

Попробовали переехать на др сервер ру.центра помогло но временно.

На форуме 226тыс сообщений. Посещаемость не большая порядка 40 человек. Из них примерно 8 поисковых роботов. Если человек на авторизован, то он не может просматривать часть форум.

Только определенные под форумы.

Пробовал robots.txt внести некоторые изменения, но по всей видимости не помогло.

в http://www.ninjaclub.ru/robots.txt

 

В прикрепленном файле статистика зашкаливания, складывается ощущение что ночью все ложатся спать и все спокойно а утром все по новой.

Посоветуйте какие меры принять, чтобы вернутся к нормальной работе форума.

 

К сожалению залить не удалось. можно посмотреть по ссылке Моя ссылка

Edited November 1, 2015 by kleda

[Атаман]

А у Вас даже не VPS - изучайте тему http://ipbskins.ru/f...topic12493.html

 

http://ipbskins.ru/forum/topic12493.html/page__view__findpost__p__82190

[kleda]

Тему изучил.

Вывод получается что нужно либо менять тариф либо съезжать.

[siv1987]

Информации мало, можно сказать никакой. Количество сообщений роль играет, но в отдельной ситуации. 40 человек онлайн это не много, особый дискомфорт при адекватном хостинге (не за 50 рублей) доставлять они не должны. По груфику видно что нагрузка у вас скачкообразная, значит либо ддосит, либо какойто бот активно парсит форум, либо есть какието кривые плагины или отключили какую-то систему кеширования на форуме. Отсюда следует проверить логи доступа сервера, нет ли частых запросов с одних же ип адресов, проверить активность поисковых ботов, при необхадимости заблокировать в роботс, проверить настройки кешов - в частности должно быть включено кеширование постов.

 

Все выше описанное с учетом что на хостинге один только форум. Если у вас там по мимо него еще и джумла крутится, то тут не о чем говорить - сначало следует выяснить откуда исходит нагрузка. Джумла тоже прожорливый двиг.

[Ph-A]

либо съезжать.

Угу

 

особый дискомфорт при адекватном хостинге

Адекватный это ключевое.

Ограничение тарифа 301 -

 

Оперативная память (МБ) - 192

Число процессов - 64

Число одновременных соединений с MySQL - 32

[Одмин]

Запреты в роботсе не дают особого эффекта. Для того, чтобы снизить нагрузку на форум, попробуйте для начала в .htaccess заблокировать страны, откуда постоянно льется спам и ненужный трафик и некоторые юзер-агенты агрессивных ПС.

Код можно копировать к себе в корневой .htaccess.

Ну и, конечно, можно существенно ограничить активность поисковых систем Yandex и Google, выставив лимит сканирования ими Вашего форума в кабинетах вебмастера.

 

<IfModule mod_setenvif.c>
Deny from 3 4 6 7 8 9 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 28 29 30 32 33 34 35 38 40 41 43 44 45 47 48 51 52 53 54 55 56 57 58 59 60 61 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 140.92 140.96 140.109 140.138 163.13 163.32 180 192.192 196 202 203 210 211 214 215 218 219 220 221 222

SetEnvIfNoCase User-Agent Yahoo ban
SetEnvIfNoCase User-Agent BoardReader ban
SetEnvIfNoCase User-Agent Twitterbot ban
SetEnvIfNoCase User-Agent XoviBot ban
SetEnvIfNoCase User-Agent SemrushBot ban
SetEnvIfNoCase User-Agent dotbot ban
SetEnvIfNoCase User-Agent bingbot ban
SetEnvIfNoCase User-Agent SISTRIX Crawler ban
SetEnvIfNoCase User-Agent BLEXBot ban
SetEnvIfNoCase User-Agent AhrefsBot ban
SetEnvIfNoCase User-Agent LinkpadBot ban
SetEnvIfNoCase User-Agent trendictionbot ban
SetEnvIfNoCase User-Agent "8484 Boston Project" ban
SetEnvIfNoCase User-Agent Accelerator ban
SetEnvIfNoCase User-Agent Ants ban
SetEnvIfNoCase User-Agent "Ask Jeeves" ban
SetEnvIfNoCase User-Agent Atomic_Email_Hunter ban
SetEnvIfNoCase User-Agent atSpider ban
SetEnvIfNoCase User-Agent attach ban
SetEnvIfNoCase User-Agent autoemailspider ban
SetEnvIfNoCase User-Agent BackWeb ban
SetEnvIfNoCase User-Agent Baiduspider ban
SetEnvIfNoCase User-Agent Bandit ban
SetEnvIfNoCase User-Agent BlackWidow ban
SetEnvIfNoCase User-Agent "Bot\ mailto:craftbot@yahoo.com" ban
SetEnvIfNoCase User-Agent Buddy ban
SetEnvIfNoCase User-Agent bwh3_user_agent ban
SetEnvIfNoCase User-Agent China ban
SetEnvIfNoCase User-Agent Collector ban
SetEnvIfNoCase User-Agent ContactBot ban
SetEnvIfNoCase User-Agent ContentSmartz ban
SetEnvIfNoCase User-Agent Copier ban
SetEnvIfNoCase User-Agent Custo ban
SetEnvIfNoCase User-Agent DataCha0s ban
SetEnvIfNoCase User-Agent DBrowse ban
SetEnvIfNoCase User-Agent Demo Bot ban
SetEnvIfNoCase User-Agent DISCo ban
SetEnvIfNoCase User-Agent Dolphin ban
SetEnvIfNoCase User-Agent Download ban
SetEnvIfNoCase User-Agent Drip ban
SetEnvIfNoCase User-Agent DSurf15 ban
SetEnvIfNoCase User-Agent EBrowse ban
SetEnvIfNoCase User-Agent eCatch ban
SetEnvIfNoCase User-Agent "Educate Search VxB" ban
SetEnvIfNoCase User-Agent EirGrabber ban
SetEnvIfNoCase User-Agent EmailSiphon ban
SetEnvIfNoCase User-Agent EmailSpider ban
SetEnvIfNoCase User-Agent EmailWolf ban
SetEnvIfNoCase User-Agent ESurf15 ban
SetEnvIfNoCase User-Agent "Express\ WebPictures" ban
SetEnvIfNoCase User-Agent ExtractorPro ban
SetEnvIfNoCase User-Agent EyeNetIE ban
SetEnvIfNoCase User-Agent FileHound ban
SetEnvIfNoCase User-Agent FlashGet ban
SetEnvIfNoCase User-Agent Flexum ban
SetEnvIfNoCase User-Agent "Franklin Locator" ban
SetEnvIfNoCase User-Agent FSurf15 ban
SetEnvIfNoCase User-Agent "Full Web Bot" ban
SetEnvIfNoCase User-Agent GetRight ban
SetEnvIfNoCase User-Agent Gets ban
SetEnvIfNoCase User-Agent GetWeb! ban
SetEnvIfNoCase User-Agent Gigabot ban
SetEnvIfNoCase User-Agent Go!Zilla ban
SetEnvIfNoCase User-Agent Go-Ahead-Got-It ban
SetEnvIfNoCase User-Agent gotit ban
SetEnvIfNoCase User-Agent GoZilla ban
SetEnvIfNoCase User-Agent Grab.*Site ban
SetEnvIfNoCase User-Agent Grabber ban
SetEnvIfNoCase User-Agent GrabNet ban
SetEnvIfNoCase User-Agent Grafula ban
SetEnvIfNoCase User-Agent grub-client ban
SetEnvIfNoCase User-Agent gsa-crawler ban
SetEnvIfNoCase User-Agent "Guestbook Auto Submitter" ban
SetEnvIfNoCase User-Agent Gulliver ban
SetEnvIfNoCase User-Agent HMView ban
SetEnvIfNoCase User-Agent HTTrack ban
SetEnvIfNoCase User-Agent ia_archiver ban
SetEnvIfNoCase User-Agent IBrowse ban
SetEnvIfNoCase User-Agent "Image\ Stripper" ban
SetEnvIfNoCase User-Agent "Image\ Sucker" ban
SetEnvIfNoCase User-Agent "Industry Program" ban
SetEnvIfNoCase User-Agent "Indy\ Library" ban
SetEnvIfNoCase User-Agent inktomi\.com ban
SetEnvIfNoCase User-Agent InterGET ban
SetEnvIfNoCase User-Agent "Internet\ Ninja" ban
SetEnvIfNoCase User-Agent Iria ban
SetEnvIfNoCase User-Agent "ISC Systems iRc Search" ban
SetEnvIfNoCase User-Agent "IUPUI Research" Bot ban
SetEnvIfNoCase User-Agent JetCar ban
SetEnvIfNoCase User-Agent jetcar ban
SetEnvIfNoCase User-Agent JOC ban
SetEnvIfNoCase User-Agent JustView ban
SetEnvIfNoCase User-Agent larbin ban
SetEnvIfNoCase User-Agent LARBIN-EXPERIMENTAL ban
SetEnvIfNoCase User-Agent leech ban
SetEnvIfNoCase User-Agent LeechFTP ban
SetEnvIfNoCase User-Agent LetsCrawl.com ban
SetEnvIfNoCase User-Agent lftp ban
SetEnvIfNoCase User-Agent libwww-perl ban
SetEnvIfNoCase User-Agent likse ban
SetEnvIfNoCase User-Agent "Lincoln State Web Browser" ban
SetEnvIfNoCase User-Agent liveinternet ban
SetEnvIfNoCase User-Agent LMQueueBot ban
SetEnvIfNoCase User-Agent LWP::Simple ban
SetEnvIfNoCase User-Agent "Mac Finder" ban
SetEnvIfNoCase User-Agent Magnet ban
SetEnvIfNoCase User-Agent Mag-Net ban
SetEnvIfNoCase User-Agent Memo ban
SetEnvIfNoCase User-Agent "MFC Foundation Class Library" ban
SetEnvIfNoCase User-Agent "Microsoft URL Control" ban
SetEnvIfNoCase User-Agent "MIDown\ tool" ban
SetEnvIfNoCase User-Agent Mirror ban
SetEnvIfNoCase User-Agent "Missauga Loca" ban
SetEnvIfNoCase User-Agent "Missouri College Browse" ban
SetEnvIfNoCase User-Agent "Mister\ PiX" ban
SetEnvIfNoCase User-Agent "Mizzu Labs" ban
SetEnvIfNoCase User-Agent MJ12bot ban
SetEnvIfNoCase User-Agent "Mo College" ban
SetEnvIfNoCase User-Agent MVAClient ban
SetEnvIfNoCase User-Agent "NameOfAgent (CMS Spider)" ban
SetEnvIfNoCase User-Agent "NASA Search" ban
SetEnvIfNoCase User-Agent Navroad ban
SetEnvIfNoCase User-Agent NearSite ban
SetEnvIfNoCase User-Agent "Net\ Reaper" ban
SetEnvIfNoCase User-Agent "Net\ Vampire" ban
SetEnvIfNoCase User-Agent NetAnts ban
SetEnvIfNoCase User-Agent NetSpider ban
SetEnvIfNoCase User-Agent NetZIP ban
SetEnvIfNoCase User-Agent Ninja ban
SetEnvIfNoCase User-Agent Nsauditor ban
SetEnvIfNoCase User-Agent Octopus ban
SetEnvIfNoCase User-Agent Offline ban
SetEnvIfNoCase User-Agent Page.*Saver ban
SetEnvIfNoCase User-Agent PageGrabber ban
SetEnvIfNoCase User-Agent "Papa\ Foto" ban
SetEnvIfNoCase User-Agent pavuk ban
SetEnvIfNoCase User-Agent PBrowse ban
SetEnvIfNoCase User-Agent pcBrowser ban
SetEnvIfNoCase User-Agent PEval ban
SetEnvIfNoCase User-Agent Pita ban
SetEnvIfNoCase User-Agent Pockey ban
SetEnvIfNoCase User-Agent Poirot ban
SetEnvIfNoCase User-Agent "Port Huron Labs" ban
SetEnvIfNoCase User-Agent "Production Bot" ban
SetEnvIfNoCase User-Agent "Program Shareware" ban
SetEnvIfNoCase User-Agent psbot ban
SetEnvIfNoCase User-Agent PSurf15 ban
SetEnvIfNoCase User-Agent psycheclone ban
SetEnvIfNoCase User-Agent Pump ban
SetEnvIfNoCase User-Agent Reaper ban
SetEnvIfNoCase User-Agent Recorder ban
SetEnvIfNoCase User-Agent ReGet ban
SetEnvIfNoCase User-Agent RSurf15 ban
SetEnvIfNoCase User-Agent Scooter ban
SetEnvIfNoCase User-Agent "searchbot admin@google.com" ban
SetEnvIfNoCase User-Agent "SEO search Crawler" ban
SetEnvIfNoCase User-Agent SEOsearch ban
SetEnvIfNoCase User-Agent ShablastBot ban
SetEnvIfNoCase User-Agent Siphon ban
SetEnvIfNoCase User-Agent SiteSnagger ban
SetEnvIfNoCase User-Agent Snagger ban
SetEnvIfNoCase User-Agent Snake ban
SetEnvIfNoCase User-Agent "snap.com beta crawler" ban
SetEnvIfNoCase User-Agent Snapbot ban
SetEnvIfNoCase User-Agent "sogou develop spider" ban
SetEnvIfNoCase User-Agent "Sogou Orion spider" ban
SetEnvIfNoCase User-Agent "sogou spider" ban
SetEnvIfNoCase User-Agent "Sogou web spider" ban
SetEnvIfNoCase User-Agent "sohu agent" ban
SetEnvIfNoCase User-Agent SpaceBison ban
SetEnvIfNoCase User-Agent SSurf15 ban
SetEnvIfNoCase User-Agent Stripper ban
SetEnvIfNoCase User-Agent Sucker ban
SetEnvIfNoCase User-Agent SuperBot ban
SetEnvIfNoCase User-Agent SuperHTTP ban
SetEnvIfNoCase User-Agent Surfbot ban
SetEnvIfNoCase User-Agent tAkeOut ban
SetEnvIfNoCase User-Agent "Teleport\ Pro" ban
SetEnvIfNoCase User-Agent Triton ban
SetEnvIfNoCase User-Agent TSurf15 ban
SetEnvIfNoCase User-Agent Twiceler ban
SetEnvIfNoCase User-Agent "Under the Rainbow" ban
SetEnvIfNoCase User-Agent Vacuum ban
SetEnvIfNoCase User-Agent VadixBot ban
SetEnvIfNoCase User-Agent VoidEYE ban
SetEnvIfNoCase User-Agent voyager ban
SetEnvIfNoCase User-Agent "W3 SiteSearch Crawler" ban
SetEnvIfNoCase User-Agent W3C_*Validator ban
SetEnvIfNoCase User-Agent W3C-checklink ban
SetEnvIfNoCase User-Agent Weazel ban
SetEnvIfNoCase User-Agent Web.*Spy ban
SetEnvIfNoCase User-Agent "Web\ Image\ Collector" ban
SetEnvIfNoCase User-Agent "Web\ Sucker" ban
SetEnvIfNoCase User-Agent WebAlta ban
SetEnvIfNoCase User-Agent WebAuto ban
SetEnvIfNoCase User-Agent WebCapture ban
SetEnvIfNoCase User-Agent WebCopier ban
SetEnvIfNoCase User-Agent WebFetch ban
SetEnvIfNoCase User-Agent "WebGo\ IS" ban
SetEnvIfNoCase User-Agent WebLeacher ban
SetEnvIfNoCase User-Agent WebMirror ban
SetEnvIfNoCase User-Agent WebReaper ban
SetEnvIfNoCase User-Agent WebRecorder ban
SetEnvIfNoCase User-Agent WebSauger ban
SetEnvIfNoCase User-Agent "Website\ eXtractor" ban
SetEnvIfNoCase User-Agent "Website\ Quester" ban
SetEnvIfNoCase User-Agent WebSpy ban
SetEnvIfNoCase User-Agent Webster ban
SetEnvIfNoCase User-Agent WebStripper ban
SetEnvIfNoCase User-Agent WebVulnCrawl.unknown ban
SetEnvIfNoCase User-Agent WebWhacker ban
SetEnvIfNoCase User-Agent WebZIP ban
SetEnvIfNoCase User-Agent "Wells Search" ban
SetEnvIfNoCase User-Agent "WEP Search" ban
SetEnvIfNoCase User-Agent Wget ban
SetEnvIfNoCase User-Agent Whacker ban
SetEnvIfNoCase User-Agent Widow ban
SetEnvIfNoCase User-Agent www\.asona\.org ban
SetEnvIfNoCase User-Agent WWWOFFLE ban
SetEnvIfNoCase User-Agent "Xaldon\ WebSpider" ban
SetEnvIfNoCase User-Agent Yanga ban
SetEnvIfNoCase User-Agent Zeus ban
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=ban
</Limit>
</IfModule>

[kleda]

Все выше описанное с учетом что на хостинге один только форум. Если у вас там по мимо него еще и джумла крутится то тут не о чем говорить - сначало следует выяснить откуда исходит нагрузка. Джумла тоже прожорливый двиг.

Joomla есть.

Сначала отключили ее не помогло.

Затем отключили форум.

График почти сразу свалился вниз.

В robots прописали

User-agent: *

Disallow: /

Crawl-delay: 4

 

Форум включили пока полет нормальный.

Тем не менее роботы все равно пасутся.

 

Оперативная память (МБ) - 192

Число процессов - 64

Число одновременных соединений с MySQL - 32

С ресурсами у них конечно засада.

 

Запреты в роботсе не дают особого эффекта

liveinternet ban -у нас их информер висит

 

Предложенный код будет эффективен с стандартным кодом написанным в robots -?

[Одмин]

liveinternet ban -у нас их информер висит

Так Вы вносите в список только те юзер-агенты, с которыми Вы не собираетесь работать. Их боты будут автоматически заблокированы на уровне сервера.

 

Предложенный код будет эффективен с стандартным кодом написанным в robots -?

Тут вообще-то одно другому не мешает. Роботс только рекомендует поисковым ботам политику поведения (активности сканирования), но в том-то и дело, что даже Яша и Гоша не исполняют сии рекомендации, не говоря уже о всяких там AhrefsBot, которые могут начать сканировать весь форум одновременно и положить сервер, если их не заблокировать. А директивы в .htacess - безоговорочны.

[kleda]

Так Вы вносите в список только те юзер-агенты, с которыми Вы не собираетесь работать. Их боты будут автоматически заблокированы на уровне сервера.

 

Тут вообще-то одно другому не мешает. Роботс только рекомендует поисковым ботам политику поведения (активности сканирования), но в том-то и дело, что даже Яша и Гоша не исполняют сии рекомендации, не говоря уже о всяких там AhrefsBot, которые могут начать сканировать весь форум одновременно и положить сервер, если их не заблокировать. А директивы в .htacess - безоговорочны.

 

Докладываю.

На сегодня скачков не было пока все тихо.

Из роботов присутствует(по крайне мере определяется что это робот)

Google, Google Mobile.

С одно стороны конечно же хорошо. но с другой индексация я подозреваю упала.

На следующих выходных попробую поэкспериментировать с предложенным вами кодом.

 

П.с может удастся выяснить какой из роботов так пакостил.

[Одмин]

На сегодня скачков не было пока все тихо.

На следующих выходных попробую поэкспериментировать с предложенным вами кодом.

Если сегодня у Вас все тихо, то как Вы добились сего результата, если не использовали вариант, предложенный мною выше? :) И зачем ждать следующих выходных?

 

Из роботов присутствует(по крайне мере определяется что это робот)

Google, Google Mobile.

С одно стороны конечно же хорошо. но с другой индексация я подозреваю упала.

Я подозреваю, у Вас есть собственное мнение, но мое - главное, не блокируйте Google и Yandex. Большего Вам не нужно. Этих двух поисковиков хватит для того, чтобы на Ваш форум шел целевой трафик. Но, опять же, и Google, и Yandex могут положить сервер тотальным сканированием Вашего форума. Для того, чтобы этого избежать, нужно грамотно задекларировать свои намерения в /robots.txt и в кабинетах вебмастера этих поисковиков. Edited November 4, 2015 by Одмин

[kleda]

Если сегодня у Вас все тихо, то как Вы добились сего результата, если не использовали вариант, предложенный мною выше? :) И зачем ждать следующих выходных?

 

Я подозреваю, у Вас есть собственное мнение, но мое - главное, не блокируйте Google и Yandex. Большего Вам не нужно. Этих двух поисковиков хватит для того, чтобы на Ваш форум шел целевой трафик. Но, опять же, и Google, и Yandex могут положить сервер тотальным сканированием Вашего форума. Для того, чтобы этого избежать, нужно грамотно задекларировать свои намерения в /robots.txt и в кабинетах вебмастера этих поисковиков.

 

User-agent: *

Disallow: /

Crawl-delay: 4

 

и увеличили memory_limit С 128 ДО 192

 

Можно вопрос что значат цифры -?

На IP адреса не похожи..

Deny from 3 4 6 7 8 9 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 28 29 30 32 33

Edited November 7, 2015 by kleda

[Атаман]

Вы вообще откл индексацию. Вы результата добились, но не до конца.

[Одмин]

User-agent: *

Disallow: /

Crawl-delay: 4

Строчка 'Disallow: /' означает, что Вы полностью отключили индексацию, начиная с корня Вашего форума и ниже (т.е. индексацию всего форума). При этом директива Crawl-delay уже не несёт никакой пользы.

 

и увеличили memory_limit С 128 ДО 192

Спросите у хостера, имеете ли Вы возможность самостоятельно изменять значения сего параметра на уровне пользователя. Если имеете, я Вам скажу как это сделать.

 

Можно вопрос что значат цифры -?

На IP адреса не похожи..

Это IP-адреса регионов мира, откуда льётся спам и происходят Ddos-атаки. Лучше их отключить и вообще проанализировать свою целевую аудиторию и отключить форум для иных аудиторий.

[kleda]

 

Спросите у хостера, имеете ли Вы возможность самостоятельно изменять значения сего параметра на уровне пользователя. Если имеете, я Вам скажу как это сделать.

 

Это IP-адреса регионов мира, откуда льётся спам и происходят Ddos-атаки. Лучше их отключить и вообще проанализировать свою целевую аудиторию и отключить форум для иных аудиторий.

У меня в административной панели где управление модулями.

Есть строчка memory_limit в ней диапазон доступных изменений от 1М до 192М.

Мы выставили 192М.

Думаю если ставить больше то по всей видимости необходимо обращаться к хостеру.

 

*Я в robots прописал стандартные значения.

В htaccess то что вы предложили.

Начали заходить роботы.

Пока вроде ситуация стабильна. буду наблюдать. По результатам напишу.

[Одмин]

У меня в административной панели где управление модулями.

Есть строчка memory_limit в ней диапазон доступных изменений от 1М до 192М.

Мы выставили 192М.

Думаю если ставить больше то по всей видимости необходимо обращаться к хостеру.

Спросите у хостера, - "поддерживается ли пользователььский php.ini?". В этом файле можно корректировать memory_limit самостоятельно. Если да, сообщите. Но я подозреваю, что нет.