Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
VadimD

robots.txt блокирует Google

Рекомендованные сообщения

По умолчанию в файле robots.txt которые идёт в пакете IPB 3.1.4 установлены следующие параметры:

 

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

 

Сегодня обнаружил, что форум не индексируется Google внизу пишет сообщение:

 

"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

 

Раньше такой проблемы не было. Где собака зарыта? Может убрать все упоминания /forum/ ?

Поделиться сообщением


Ссылка на сообщение

В низу, это где? В сниппете? Вы на адрес исключенной ссылки смотрели? Может быть это один из адресов который закрыт в роботс-е, типа профиль пользователя, или другая служебная информация? В приведенном роботсе нет правил которые бы запрещали нормальной индексации форума, кроме запретов дублей и страниц которые не должны индексироваться.

 

Board URL: local

Заполните пожалуйста правильно board url.

Поделиться сообщением


Ссылка на сообщение
07/16/14 20:29 (изменено)

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress. Надо быть внимательными в таких делах. Надеюсь мой опыт поможет таким же не внимательным админам и предостережёт от подобных случаев.

 

Спасибо за быстрый отклик siv1987! Удачи в веб-мастерстве!

Изменено пользователем VadimD

Поделиться сообщением


Ссылка на сообщение

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

 

Именно она блокировала форум, строка появилась после добавления правил из wordpress.

Если ссылки без чпу. Если чпу с включенным мод_реврайтом в 3.1 она мешать не будет, хотя и запретит все ссылки с параметрами.

Есть инструмент для анализа роботс'а http://webmaster.yandex.ru/robots.xml#results, есть статистика исключенных страниц и гугле вебмастере и в вебмастере яндексе. Можно открыть, посмотреть что исключено, а в анализаторе проверить какие правила ограничивают доступ.

Поделиться сообщением


Ссылка на сообщение

Проверил в Google, именно это правило и ограничивало. Ссылки без ЧПУ, mod rewrite включен. Одно не могу вспомнить, случилось ли это само или я сам изменил robots.txt

Заметил весь этот косяк только после того как трафик упал в три с лишним раза :o

Поделиться сообщением


Ссылка на сообщение

Ссылки без ЧПУ, mod rewrite включен.

Если чпу отключен тогда значение mod_rewrite уже без разницы. Он работает только в паре с use_friendly_urls.

 

случилось ли это само

Само это не бывает, таких директив в стандартном роботсе нету.

Поделиться сообщением


Ссылка на сообщение

Чудны дела, роботы Яндекс и Гугл не особо хотят сканировать форум, хотя файл robots.txt вроде как они обновили. Где можно взять стандартный или уже до конца продуманный robots.txt для IPB 3.1.4 без ссылок ЧПУ?

Поделиться сообщением


Ссылка на сообщение

Стандартный содержит как запреты для чпу так и без. Взять его можно из дистрибутива. Если в вашем нет никаких директив что запрещали бы индексацию форумов и тем, тогда роботс здесь не поможет. Он для того что-бы исключать страницы, волшебных не бывают. Развивайте свой форум и со временем он начнет индексироваться. Не ждите стремительных результатов.

Поделиться сообщением


Ссылка на сообщение
07/18/14 07:33 (изменено)

Да сайт и форум уже развиты были - в региональном ТОП-3 стабильно. А теперь из-за не понятной ошибики в robots.txt форум перестал индексироваться обеими поисковиками, причину обе системы пишут запрет в robots.txt

Написал в службу поддержки Яндекс, сказали что робот прочитал обновлённый файл и должен индексировать форум, однако ничего подобного не происходит. Либо надо просто банально ждать.

Изменено пользователем VadimD

Поделиться сообщением


Ссылка на сообщение

Хотя бы месяц прошел чтобы можно было говорить о каких-то результатов? Я вижу что ваше сообщение датировано "вчера, 01:19", вряд ли за это время прошел один месяц, чтобы можно было подводить итоги в индексации. Ждите.

Поделиться сообщением


Ссылка на сообщение
07/18/14 07:40 (изменено)

Вот смотрю пришёл Mail.ru поисковик и сканирует нормально весь форум, но только не "эти два" :) Буду подождать тогда.

Изменено пользователем VadimD

Поделиться сообщением


Ссылка на сообщение

Так сканирует или индексирует? Сканирования не всегда значит индексация. Индексация это когда страницы есть в поиске.

В таком случае не переживайте, появится они на форуме. Смотрите в логах поисковых ботов.

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...