Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
boltuk

Помогите с robots.txt

Рекомендованные сообщения

В роботсе ничего лишнего не запрещено.

Даже наоборот....

Профили пользователей, календарь и много всего, что не содержит контента, надо закрыть

Поделиться сообщением


Ссылка на сообщение

Тогда в чем может быть проблема???

Запрещенные получаются практически все темы...

 

А можно пример вашего робота увидеть...

Поделиться сообщением


Ссылка на сообщение

Если гостям профили и список не показываете, запрещать не обязательно. В всех других случаях нужно.

 

http://webmaster.yandex.ru/site/robots.xml

Проверьте темы.

Они не должны быть запрещены.

Там запрещаются только дубли (ссылки на посты)

 

_http://ipbskins.ru/robots.txt

Но не копируйте, это под наш чпу

Поделиться сообщением


Ссылка на сообщение

можно подробней как проверить???

 

1284291100-clip-4kb.png

По данному вопросу уже когда то писал в тех помощь ..

ответ...

Здравствуйте!

 

Спасибо, что обратили наше внимание на данную ошибку.

Указанная директива учитывается нашим роботом.

 

а что значит строчка User-agent: Mediapartners-Google*

Поделиться сообщением


Ссылка на сообщение

http://webmaster.yandex.ru/robots.xml

Все написано, как проверить. Добавьте в окно url тем

 

а что значит строчка User-agent: Mediapartners-Google*

Доступ боту adsense

Поделиться сообщением


Ссылка на сообщение

выдает вот что 1284292903-clip-3kb.png

а если убрать Disallow: /*&pid=

все нормально, может так и поступить??

Поделиться сообщением


Ссылка на сообщение
Тогда в чем может быть проблема???

Запрещенные получаются практически все темы...

Покажите в вебмастере где у вас запрещены темы?

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

 

Вроде не дубли, да и не мусор...

А мусор то есть: f=

Если профили не закрывайте от индексации, этот этот параметр стоит закрыть. И хотя это не страшно, лучше даже в профилях убрать лишние.

 

Зы.

Если сравнить с выдачей гугла, форум наверняка словил АГС.

До этого сколько страниц было в поиске у яндекса? Даже на флудильных форумов при таком количестве сообщений в поиске попадают как минимум 500-1000 тем, а то и больше. 31 страниц, из которых больше половины профили - явно на вас наложили фильтр. Пишите платонам, за что и почему.

 

В роботс замените:

host: hookahpro.ru на host: www.hookahpro.ru

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

выдает вот что 1284292903-clip-3kb.png

а если убрать Disallow: /*&pid=

все нормально, может так и поступить??

Согласна с siv1987

URL с /*&pid= ссылаются на отдельные посты и все они ведут на страницу темы. Если там 15 постов, будет 15 дублей страницы темы.

В итоге в индексе образуется множество дублей.

Вес контента "распылится", в целом позиции упадут.

 

АГС вроде не за что.

Возможно, проблема с определением основного зеркала, отсюда проблемы.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение
Покажите в вебмастере где у вас запрещены темы?

Это как??

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

Где это правится??

 

форум наверняка словил АГС.

А кто такой АГС??? )))

 

Форум совсем недавно на этом домене...

Месяц всего... Так что сказать сколько было страниц не знаю...

 

А как точно узнать наложен ли фильтр??

 

Возможно, проблема с определением основного зеркала, отсюда проблемы.

А енто что такое??

Поделиться сообщением


Ссылка на сообщение

1. В панели вебмастера в списке исключенных в связи с запретом в робтсе. Уже один дубль показали. Он правильно исключен.

2. Это уже исправлено запретом индексации отдельных постов в роботсе.

3. АГС – фильтр Яндекса, когда в индексе остается от 1 до 10-11 страниц.

У Вас не АГС

4. Месяц – небольшой срок. Пока рано судить об индексации

5. Читайте хелпы Яндекса про зеркала.

 

И вообще, читайте FAQ в вебмастере прежде, чем написать следующий пост.

Поделиться сообщением


Ссылка на сообщение
Форум совсем недавно на этом домене...

Месяц всего... Так что сказать сколько было страниц не знаю...

Понятно. Тогда АГС отпадает.

Сделайте редирект со старых ссылок на новые и ждите переиндексации. Яндекс в этом плане медленнее чем гугл.

 

То что у вас сейчас в htaccess RewriteRule ^(.*) newdomen.ru/$1 выкиньте в топку, это не годится если хотите склейть старые урлы с новыми. Должно быть что то типа такого

RewriteRule ^viewforum.php?f=([0-9]+) http://newdomen.ru/index.php?showforum=$1 [R=301,L]

RewriteRule ^viewtopic.php?t=([0-9]+) http://newdomen.ru/index.php?showtopic=$1 [R=301,L]

и еще куча правил для разного рода страниц.

 

Я, к сожалению, не особо владею всеми тонкостями реврайта. Лучше найдите человека кто его вам правильно настроит.

Поделиться сообщением


Ссылка на сообщение

А есть ли здесь такие люди??

Поделиться сообщением


Ссылка на сообщение

А есть ли здесь такие люди??

 

В принципе, могу и я пошаманить с htaccess'ом.

Если что, пишите в ЛС.

Поделиться сообщением


Ссылка на сообщение

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

 

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

Поделиться сообщением


Ссылка на сообщение

В корень поддомена класть. Поддомен – это отдельный сайт

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...