robots.txt блокирует Google - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

robots.txt блокирует Google

#1 Пользователь не на сайте   VadimD ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 77
  • Регистрация: 17-Декабрь 10
  • Репутация: 0
  • IPB version:3.1.x
 

  Отправлено 16 Июль 2014 - 22:37

По умолчанию в файле robots.txt которые идёт в пакете IPB 3.1.4 установлены следующие параметры:

Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread


Сегодня обнаружил, что форум не индексируется Google внизу пишет сообщение:

"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

Раньше такой проблемы не было. Где собака зарыта? Может убрать все упоминания /forum/ ?
0

#2 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 087
  • IPB version:3.1.x
 

Отправлено 16 Июль 2014 - 22:53

В низу, это где? В сниппете? Вы на адрес исключенной ссылки смотрели? Может быть это один из адресов который закрыт в роботс-е, типа профиль пользователя, или другая служебная информация? В приведенном роботсе нет правил которые бы запрещали нормальной индексации форума, кроме запретов дублей и страниц которые не должны индексироваться.

Цитата

Board URL: local

Заполните пожалуйста правильно board url.
0

#3 Пользователь не на сайте   VadimD ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 77
  • Регистрация: 17-Декабрь 10
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 16 Июль 2014 - 23:28

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

Именно она блокировала форум, строка появилась после добавления правил из wordpress. Надо быть внимательными в таких делах. Надеюсь мой опыт поможет таким же не внимательным админам и предостережёт от подобных случаев.

Спасибо за быстрый отклик siv1987! Удачи в веб-мастерстве!

Сообщение изменено: VadimD (16 Июль 2014 - 23:43)

0

#4 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 087
  • IPB version:3.1.x
 

Отправлено 16 Июль 2014 - 23:57

Просмотреть сообщениеVadimD сказал(а):

Посмотрел внимательнее весь robots.txt и нашёл такую строку Disallow: /*?

Именно она блокировала форум, строка появилась после добавления правил из wordpress.

Если ссылки без чпу. Если чпу с включенным мод_реврайтом в 3.1 она мешать не будет, хотя и запретит все ссылки с параметрами.
Есть инструмент для анализа роботс'а http://webmaster.yan...ots.xml#results, есть статистика исключенных страниц и гугле вебмастере и в вебмастере яндексе. Можно открыть, посмотреть что исключено, а в анализаторе проверить какие правила ограничивают доступ.
0

#5 Пользователь не на сайте   VadimD ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 77
  • Регистрация: 17-Декабрь 10
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 17 Июль 2014 - 00:19

Проверил в Google, именно это правило и ограничивало. Ссылки без ЧПУ, mod rewrite включен. Одно не могу вспомнить, случилось ли это само или я сам изменил robots.txt
Заметил весь этот косяк только после того как трафик упал в три с лишним раза :o
0

#6 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 087
  • IPB version:3.1.x
 

Отправлено 17 Июль 2014 - 10:49

Просмотреть сообщениеVadimD сказал(а):

Ссылки без ЧПУ, mod rewrite включен.

Если чпу отключен тогда значение mod_rewrite уже без разницы. Он работает только в паре с use_friendly_urls.

Просмотреть сообщениеVadimD сказал(а):

случилось ли это само

Само это не бывает, таких директив в стандартном роботсе нету.
0

#7 Пользователь не на сайте   VadimD ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 77
  • Регистрация: 17-Декабрь 10
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 18 Июль 2014 - 10:16

Чудны дела, роботы Яндекс и Гугл не особо хотят сканировать форум, хотя файл robots.txt вроде как они обновили. Где можно взять стандартный или уже до конца продуманный robots.txt для IPB 3.1.4 без ссылок ЧПУ?
0

#8 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 087
  • IPB version:3.1.x
 

Отправлено 18 Июль 2014 - 10:24

Стандартный содержит как запреты для чпу так и без. Взять его можно из дистрибутива. Если в вашем нет никаких директив что запрещали бы индексацию форумов и тем, тогда роботс здесь не поможет. Он для того что-бы исключать страницы, волшебных не бывают. Развивайте свой форум и со временем он начнет индексироваться. Не ждите стремительных результатов.
0

#9 Пользователь не на сайте   VadimD ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 77
  • Регистрация: 17-Декабрь 10
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 18 Июль 2014 - 10:32

Да сайт и форум уже развиты были - в региональном ТОП-3 стабильно. А теперь из-за не понятной ошибики в robots.txt форум перестал индексироваться обеими поисковиками, причину обе системы пишут запрет в robots.txt
Написал в службу поддержки Яндекс, сказали что робот прочитал обновлённый файл и должен индексировать форум, однако ничего подобного не происходит. Либо надо просто банально ждать.

Сообщение изменено: VadimD (18 Июль 2014 - 10:32)

0

#10 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 087
  • IPB version:3.1.x
 

Отправлено 18 Июль 2014 - 10:39

Хотя бы месяц прошел чтобы можно было говорить о каких-то результатов? Я вижу что ваше сообщение датировано "вчера, 01:19", вряд ли за это время прошел один месяц, чтобы можно было подводить итоги в индексации. Ждите.
0

#11 Пользователь не на сайте   VadimD ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 77
  • Регистрация: 17-Декабрь 10
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 18 Июль 2014 - 10:39

Вот смотрю пришёл Mail.ru поисковик и сканирует нормально весь форум, но только не "эти два" :) Буду подождать тогда.

Сообщение изменено: VadimD (18 Июль 2014 - 10:40)

0

#12 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 087
  • IPB version:3.1.x
 

Отправлено 18 Июль 2014 - 10:51

Так сканирует или индексирует? Сканирования не всегда значит индексация. Индексация это когда страницы есть в поиске.
В таком случае не переживайте, появится они на форуме. Смотрите в логах поисковых ботов.
0

Сообщить об этой теме:


Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна