robots.txt блокирует Google

[VadimD]

По умолчанию в файле robots.txt которые идёт в пакете IPB 3.1.4 установлены следующие параметры:

 

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

 

Сегодня обнаружил, что форум не индексируется Google внизу пишет сообщение:

 

"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

 

Раньше такой проблемы не было. Где собака зарыта? Может убрать все упоминания /forum/ ?

[siv1987]

В низу, это где? В сниппете? Вы на адрес исключенной ссылки смотрели? Может быть это один из адресов который закрыт в роботс-е, типа профиль пользователя, или другая служебная информация? В приведенном роботсе нет правил которые бы запрещали нормальной индексации форума, кроме запретов дублей и страниц которые не должны индексироваться.

 

Board URL: local

Заполните пожалуйста правильно board url.

[VadimD]

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress. Надо быть внимательными в таких делах. Надеюсь мой опыт поможет таким же не внимательным админам и предостережёт от подобных случаев.

 

Спасибо за быстрый отклик siv1987! Удачи в веб-мастерстве!

Edited July 16, 2014 by VadimD

[siv1987]

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress.

Если ссылки без чпу. Если чпу с включенным мод_реврайтом в 3.1 она мешать не будет, хотя и запретит все ссылки с параметрами.

Есть инструмент для анализа роботс'а http://webmaster.yandex.ru/robots.xml#results, есть статистика исключенных страниц и гугле вебмастере и в вебмастере яндексе. Можно открыть, посмотреть что исключено, а в анализаторе проверить какие правила ограничивают доступ.

[VadimD]

Проверил в Google, именно это правило и ограничивало. Ссылки без ЧПУ, mod rewrite включен. Одно не могу вспомнить, случилось ли это само или я сам изменил robots.txt

Заметил весь этот косяк только после того как трафик упал в три с лишним раза :o

[siv1987]

Ссылки без ЧПУ, mod rewrite включен.

Если чпу отключен тогда значение mod_rewrite уже без разницы. Он работает только в паре с use_friendly_urls.

 

случилось ли это само

Само это не бывает, таких директив в стандартном роботсе нету.

[VadimD]

Чудны дела, роботы Яндекс и Гугл не особо хотят сканировать форум, хотя файл robots.txt вроде как они обновили. Где можно взять стандартный или уже до конца продуманный robots.txt для IPB 3.1.4 без ссылок ЧПУ?

[siv1987]

Стандартный содержит как запреты для чпу так и без. Взять его можно из дистрибутива. Если в вашем нет никаких директив что запрещали бы индексацию форумов и тем, тогда роботс здесь не поможет. Он для того что-бы исключать страницы, волшебных не бывают. Развивайте свой форум и со временем он начнет индексироваться. Не ждите стремительных результатов.

[VadimD]

Да сайт и форум уже развиты были - в региональном ТОП-3 стабильно. А теперь из-за не понятной ошибики в robots.txt форум перестал индексироваться обеими поисковиками, причину обе системы пишут запрет в robots.txt

Написал в службу поддержки Яндекс, сказали что робот прочитал обновлённый файл и должен индексировать форум, однако ничего подобного не происходит. Либо надо просто банально ждать.

Edited July 18, 2014 by VadimD

[siv1987]

Хотя бы месяц прошел чтобы можно было говорить о каких-то результатов? Я вижу что ваше сообщение датировано "вчера, 01:19", вряд ли за это время прошел один месяц, чтобы можно было подводить итоги в индексации. Ждите.

[VadimD]

Вот смотрю пришёл Mail.ru поисковик и сканирует нормально весь форум, но только не "эти два" :) Буду подождать тогда.

Edited July 18, 2014 by VadimD

[siv1987]

Так сканирует или индексирует? Сканирования не всегда значит индексация. Индексация это когда страницы есть в поиске.

В таком случае не переживайте, появится они на форуме. Смотрите в логах поисковых ботов.