VadimD 0 07/16/14 19:38 По умолчанию в файле robots.txt которые идёт в пакете IPB 3.1.4 установлены следующие параметры: Disallow: /forum/admin/Disallow: /forum/cache/Disallow: /forum/converge_local/Disallow: /forum/hooks/Disallow: /forum/ips_kernel/Disallow: /forum/retail/Disallow: /forum/public/style_captcha/Disallow: /forum/index.php?app=core&module=taskDisallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubsDisallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topicDisallow: /forum/index.php?app=forums&module=extras§ion=forwardDisallow: /forum/index.php?app=members&module=messagingDisallow: /forum/index.php?app=members&module=chatDisallow: /forum/index.php?app=members&module=searchDisallow: /forum/index.php?app=members&module=search&do=activeDisallow: /forum/index.php?&unlockUserAgent=1Disallow: /*app=core&module=usercpDisallow: /*app=core&module=usercpDisallow: /*app=members&module=messagingDisallow: /*&p=Disallow: /*&pid=Disallow: /*&hl=Disallow: /*&start=Disallow: /*view__getnewpost$Disallow: /*view__getlastpost$Disallow: /*view__old$Disallow: /*view__new$Disallow: /*view__getfirst$Disallow: /*view__getprevious$Disallow: /*view__getnext$Disallow: /*view__getlast$Disallow: /*&view=getnewpost$Disallow: /*&view=getlastpost$Disallow: /*&view=old$Disallow: /*&view=new$Disallow: /*&view=getfirst$Disallow: /*&view=getprevious$Disallow: /*&view=getnext$Disallow: /*&view=getlast$Disallow: /*?s=Disallow: /*&s=Disallow: /forum/index.php?app=core&module=global§ion=login&do=deleteCookiesDisallow: /forum/index.php?app=forums&module=extras§ion=ratingDisallow: /forum/index.php?app=forums&module=forums§ion=markasread Сегодня обнаружил, что форум не индексируется Google внизу пишет сообщение: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" Раньше такой проблемы не было. Где собака зарыта? Может убрать все упоминания /forum/ ? Поделиться сообщением Ссылка на сообщение
siv1987 2627 07/16/14 19:54 В низу, это где? В сниппете? Вы на адрес исключенной ссылки смотрели? Может быть это один из адресов который закрыт в роботс-е, типа профиль пользователя, или другая служебная информация? В приведенном роботсе нет правил которые бы запрещали нормальной индексации форума, кроме запретов дублей и страниц которые не должны индексироваться. Board URL: localЗаполните пожалуйста правильно board url. Поделиться сообщением Ссылка на сообщение
VadimD 0 07/16/14 20:29 (изменено) Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*? Именно она блокировала форум, строка появилась после добавления правил из wordpress. Надо быть внимательными в таких делах. Надеюсь мой опыт поможет таким же не внимательным админам и предостережёт от подобных случаев. Спасибо за быстрый отклик siv1987! Удачи в веб-мастерстве! Изменено 16 июля 2014 пользователем VadimD Поделиться сообщением Ссылка на сообщение
siv1987 2627 07/16/14 20:58 Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*? Именно она блокировала форум, строка появилась после добавления правил из wordpress.Если ссылки без чпу. Если чпу с включенным мод_реврайтом в 3.1 она мешать не будет, хотя и запретит все ссылки с параметрами. Есть инструмент для анализа роботс'а http://webmaster.yandex.ru/robots.xml#results, есть статистика исключенных страниц и гугле вебмастере и в вебмастере яндексе. Можно открыть, посмотреть что исключено, а в анализаторе проверить какие правила ограничивают доступ. Поделиться сообщением Ссылка на сообщение
VadimD 0 07/16/14 21:20 Проверил в Google, именно это правило и ограничивало. Ссылки без ЧПУ, mod rewrite включен. Одно не могу вспомнить, случилось ли это само или я сам изменил robots.txtЗаметил весь этот косяк только после того как трафик упал в три с лишним раза :o Поделиться сообщением Ссылка на сообщение
siv1987 2627 07/17/14 07:50 Ссылки без ЧПУ, mod rewrite включен.Если чпу отключен тогда значение mod_rewrite уже без разницы. Он работает только в паре с use_friendly_urls. случилось ли это самоСамо это не бывает, таких директив в стандартном роботсе нету. Поделиться сообщением Ссылка на сообщение
VadimD 0 07/18/14 07:17 Чудны дела, роботы Яндекс и Гугл не особо хотят сканировать форум, хотя файл robots.txt вроде как они обновили. Где можно взять стандартный или уже до конца продуманный robots.txt для IPB 3.1.4 без ссылок ЧПУ? Поделиться сообщением Ссылка на сообщение
siv1987 2627 07/18/14 07:25 Стандартный содержит как запреты для чпу так и без. Взять его можно из дистрибутива. Если в вашем нет никаких директив что запрещали бы индексацию форумов и тем, тогда роботс здесь не поможет. Он для того что-бы исключать страницы, волшебных не бывают. Развивайте свой форум и со временем он начнет индексироваться. Не ждите стремительных результатов. Поделиться сообщением Ссылка на сообщение
VadimD 0 07/18/14 07:33 (изменено) Да сайт и форум уже развиты были - в региональном ТОП-3 стабильно. А теперь из-за не понятной ошибики в robots.txt форум перестал индексироваться обеими поисковиками, причину обе системы пишут запрет в robots.txtНаписал в службу поддержки Яндекс, сказали что робот прочитал обновлённый файл и должен индексировать форум, однако ничего подобного не происходит. Либо надо просто банально ждать. Изменено 18 июля 2014 пользователем VadimD Поделиться сообщением Ссылка на сообщение
siv1987 2627 07/18/14 07:40 Хотя бы месяц прошел чтобы можно было говорить о каких-то результатов? Я вижу что ваше сообщение датировано "вчера, 01:19", вряд ли за это время прошел один месяц, чтобы можно было подводить итоги в индексации. Ждите. Поделиться сообщением Ссылка на сообщение
VadimD 0 07/18/14 07:40 (изменено) Вот смотрю пришёл Mail.ru поисковик и сканирует нормально весь форум, но только не "эти два" :) Буду подождать тогда. Изменено 18 июля 2014 пользователем VadimD Поделиться сообщением Ссылка на сообщение
siv1987 2627 07/18/14 07:52 Так сканирует или индексирует? Сканирования не всегда значит индексация. Индексация это когда страницы есть в поиске. В таком случае не переживайте, появится они на форуме. Смотрите в логах поисковых ботов. Поделиться сообщением Ссылка на сообщение