Jump to content
Дизайн и модификация Invision Power Board IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
VadimD

robots.txt блокирует Google

Recommended Posts

По умолчанию в файле robots.txt которые идёт в пакете IPB 3.1.4 установлены следующие параметры:

 

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

 

Сегодня обнаружил, что форум не индексируется Google внизу пишет сообщение:

 

"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

 

Раньше такой проблемы не было. Где собака зарыта? Может убрать все упоминания /forum/ ?

Share this post


Link to post
Share on other sites

В низу, это где? В сниппете? Вы на адрес исключенной ссылки смотрели? Может быть это один из адресов который закрыт в роботс-е, типа профиль пользователя, или другая служебная информация? В приведенном роботсе нет правил которые бы запрещали нормальной индексации форума, кроме запретов дублей и страниц которые не должны индексироваться.

 

Board URL: local

Заполните пожалуйста правильно board url.

Share this post


Link to post
Share on other sites

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress. Надо быть внимательными в таких делах. Надеюсь мой опыт поможет таким же не внимательным админам и предостережёт от подобных случаев.

 

Спасибо за быстрый отклик siv1987! Удачи в веб-мастерстве!

Edited by VadimD

Share this post


Link to post
Share on other sites

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress.

Если ссылки без чпу. Если чпу с включенным мод_реврайтом в 3.1 она мешать не будет, хотя и запретит все ссылки с параметрами.

Есть инструмент для анализа роботс'а http://webmaster.yandex.ru/robots.xml#results, есть статистика исключенных страниц и гугле вебмастере и в вебмастере яндексе. Можно открыть, посмотреть что исключено, а в анализаторе проверить какие правила ограничивают доступ.

Share this post


Link to post
Share on other sites

Проверил в Google, именно это правило и ограничивало. Ссылки без ЧПУ, mod rewrite включен. Одно не могу вспомнить, случилось ли это само или я сам изменил robots.txt

Заметил весь этот косяк только после того как трафик упал в три с лишним раза :o

Share this post


Link to post
Share on other sites

Ссылки без ЧПУ, mod rewrite включен.

Если чпу отключен тогда значение mod_rewrite уже без разницы. Он работает только в паре с use_friendly_urls.

 

случилось ли это само

Само это не бывает, таких директив в стандартном роботсе нету.

Share this post


Link to post
Share on other sites

Чудны дела, роботы Яндекс и Гугл не особо хотят сканировать форум, хотя файл robots.txt вроде как они обновили. Где можно взять стандартный или уже до конца продуманный robots.txt для IPB 3.1.4 без ссылок ЧПУ?

Share this post


Link to post
Share on other sites

Стандартный содержит как запреты для чпу так и без. Взять его можно из дистрибутива. Если в вашем нет никаких директив что запрещали бы индексацию форумов и тем, тогда роботс здесь не поможет. Он для того что-бы исключать страницы, волшебных не бывают. Развивайте свой форум и со временем он начнет индексироваться. Не ждите стремительных результатов.

Share this post


Link to post
Share on other sites

Да сайт и форум уже развиты были - в региональном ТОП-3 стабильно. А теперь из-за не понятной ошибики в robots.txt форум перестал индексироваться обеими поисковиками, причину обе системы пишут запрет в robots.txt

Написал в службу поддержки Яндекс, сказали что робот прочитал обновлённый файл и должен индексировать форум, однако ничего подобного не происходит. Либо надо просто банально ждать.

Edited by VadimD

Share this post


Link to post
Share on other sites

Хотя бы месяц прошел чтобы можно было говорить о каких-то результатов? Я вижу что ваше сообщение датировано "вчера, 01:19", вряд ли за это время прошел один месяц, чтобы можно было подводить итоги в индексации. Ждите.

Share this post


Link to post
Share on other sites

Вот смотрю пришёл Mail.ru поисковик и сканирует нормально весь форум, но только не "эти два" :) Буду подождать тогда.

Edited by VadimD

Share this post


Link to post
Share on other sites

Так сканирует или индексирует? Сканирования не всегда значит индексация. Индексация это когда страницы есть в поиске.

В таком случае не переживайте, появится они на форуме. Смотрите в логах поисковых ботов.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...