По умолчанию в файле robots.txt которые идёт в пакете IPB 3.1.4 установлены следующие параметры:

 

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

 

Сегодня обнаружил, что форум не индексируется Google внизу пишет сообщение:

 

"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

 

Раньше такой проблемы не было. Где собака зарыта? Может убрать все упоминания /forum/ ?

В низу, это где? В сниппете? Вы на адрес исключенной ссылки смотрели? Может быть это один из адресов который закрыт в роботс-е, типа профиль пользователя, или другая служебная информация? В приведенном роботсе нет правил которые бы запрещали нормальной индексации форума, кроме запретов дублей и страниц которые не должны индексироваться.

 

Board URL: local

Заполните пожалуйста правильно board url.

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress. Надо быть внимательными в таких делах. Надеюсь мой опыт поможет таким же не внимательным админам и предостережёт от подобных случаев.

 

Спасибо за быстрый отклик siv1987! Удачи в веб-мастерстве!

Изменено 16 июля 201411 г пользователем VadimD

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress.

Если ссылки без чпу. Если чпу с включенным мод_реврайтом в 3.1 она мешать не будет, хотя и запретит все ссылки с параметрами.

Есть инструмент для анализа роботс'а http://webmaster.yandex.ru/robots.xml#results, есть статистика исключенных страниц и гугле вебмастере и в вебмастере яндексе. Можно открыть, посмотреть что исключено, а в анализаторе проверить какие правила ограничивают доступ.

Проверил в Google, именно это правило и ограничивало. Ссылки без ЧПУ, mod rewrite включен. Одно не могу вспомнить, случилось ли это само или я сам изменил robots.txt

Заметил весь этот косяк только после того как трафик упал в три с лишним раза :o

Ссылки без ЧПУ, mod rewrite включен.

Если чпу отключен тогда значение mod_rewrite уже без разницы. Он работает только в паре с use_friendly_urls.

 

случилось ли это само

Само это не бывает, таких директив в стандартном роботсе нету.

Чудны дела, роботы Яндекс и Гугл не особо хотят сканировать форум, хотя файл robots.txt вроде как они обновили. Где можно взять стандартный или уже до конца продуманный robots.txt для IPB 3.1.4 без ссылок ЧПУ?

Стандартный содержит как запреты для чпу так и без. Взять его можно из дистрибутива. Если в вашем нет никаких директив что запрещали бы индексацию форумов и тем, тогда роботс здесь не поможет. Он для того что-бы исключать страницы, волшебных не бывают. Развивайте свой форум и со временем он начнет индексироваться. Не ждите стремительных результатов.

Да сайт и форум уже развиты были - в региональном ТОП-3 стабильно. А теперь из-за не понятной ошибики в robots.txt форум перестал индексироваться обеими поисковиками, причину обе системы пишут запрет в robots.txt

Написал в службу поддержки Яндекс, сказали что робот прочитал обновлённый файл и должен индексировать форум, однако ничего подобного не происходит. Либо надо просто банально ждать.

Изменено 18 июля 201411 г пользователем VadimD

Хотя бы месяц прошел чтобы можно было говорить о каких-то результатов? Я вижу что ваше сообщение датировано "вчера, 01:19", вряд ли за это время прошел один месяц, чтобы можно было подводить итоги в индексации. Ждите.

Вот смотрю пришёл Mail.ru поисковик и сканирует нормально весь форум, но только не "эти два" :) Буду подождать тогда.

Изменено 18 июля 201411 г пользователем VadimD

Так сканирует или индексирует? Сканирования не всегда значит индексация. Индексация это когда страницы есть в поиске.

В таком случае не переживайте, появится они на форуме. Смотрите в логах поисковых ботов.