Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
boltuk

Помогите с robots.txt

Recommended Posts

В роботсе ничего лишнего не запрещено.

Даже наоборот....

Профили пользователей, календарь и много всего, что не содержит контента, надо закрыть

Share this post


Link to post
Share on other sites

Тогда в чем может быть проблема???

Запрещенные получаются практически все темы...

 

А можно пример вашего робота увидеть...

Share this post


Link to post
Share on other sites

Если гостям профили и список не показываете, запрещать не обязательно. В всех других случаях нужно.

 

http://webmaster.yandex.ru/site/robots.xml

Проверьте темы.

Они не должны быть запрещены.

Там запрещаются только дубли (ссылки на посты)

 

_http://ipbskins.ru/robots.txt

Но не копируйте, это под наш чпу

Share this post


Link to post
Share on other sites

можно подробней как проверить???

 

1284291100-clip-4kb.png

По данному вопросу уже когда то писал в тех помощь ..

ответ...

Здравствуйте!

 

Спасибо, что обратили наше внимание на данную ошибку.

Указанная директива учитывается нашим роботом.

 

а что значит строчка User-agent: Mediapartners-Google*

Share this post


Link to post
Share on other sites

http://webmaster.yandex.ru/robots.xml

Все написано, как проверить. Добавьте в окно url тем

 

а что значит строчка User-agent: Mediapartners-Google*

Доступ боту adsense

Share this post


Link to post
Share on other sites

выдает вот что 1284292903-clip-3kb.png

а если убрать Disallow: /*&pid=

все нормально, может так и поступить??

Share this post


Link to post
Share on other sites
Тогда в чем может быть проблема???

Запрещенные получаются практически все темы...

Покажите в вебмастере где у вас запрещены темы?

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

 

Вроде не дубли, да и не мусор...

А мусор то есть: f=

Если профили не закрывайте от индексации, этот этот параметр стоит закрыть. И хотя это не страшно, лучше даже в профилях убрать лишние.

 

Зы.

Если сравнить с выдачей гугла, форум наверняка словил АГС.

До этого сколько страниц было в поиске у яндекса? Даже на флудильных форумов при таком количестве сообщений в поиске попадают как минимум 500-1000 тем, а то и больше. 31 страниц, из которых больше половины профили - явно на вас наложили фильтр. Пишите платонам, за что и почему.

 

В роботс замените:

host: hookahpro.ru на host: www.hookahpro.ru

  • Upvote 1

Share this post


Link to post
Share on other sites

выдает вот что 1284292903-clip-3kb.png

а если убрать Disallow: /*&pid=

все нормально, может так и поступить??

Согласна с siv1987

URL с /*&pid= ссылаются на отдельные посты и все они ведут на страницу темы. Если там 15 постов, будет 15 дублей страницы темы.

В итоге в индексе образуется множество дублей.

Вес контента "распылится", в целом позиции упадут.

 

АГС вроде не за что.

Возможно, проблема с определением основного зеркала, отсюда проблемы.

  • Upvote 1

Share this post


Link to post
Share on other sites
Покажите в вебмастере где у вас запрещены темы?

Это как??

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

Где это правится??

 

форум наверняка словил АГС.

А кто такой АГС??? )))

 

Форум совсем недавно на этом домене...

Месяц всего... Так что сказать сколько было страниц не знаю...

 

А как точно узнать наложен ли фильтр??

 

Возможно, проблема с определением основного зеркала, отсюда проблемы.

А енто что такое??

Share this post


Link to post
Share on other sites

1. В панели вебмастера в списке исключенных в связи с запретом в робтсе. Уже один дубль показали. Он правильно исключен.

2. Это уже исправлено запретом индексации отдельных постов в роботсе.

3. АГС – фильтр Яндекса, когда в индексе остается от 1 до 10-11 страниц.

У Вас не АГС

4. Месяц – небольшой срок. Пока рано судить об индексации

5. Читайте хелпы Яндекса про зеркала.

 

И вообще, читайте FAQ в вебмастере прежде, чем написать следующий пост.

Share this post


Link to post
Share on other sites
Форум совсем недавно на этом домене...

Месяц всего... Так что сказать сколько было страниц не знаю...

Понятно. Тогда АГС отпадает.

Сделайте редирект со старых ссылок на новые и ждите переиндексации. Яндекс в этом плане медленнее чем гугл.

 

То что у вас сейчас в htaccess RewriteRule ^(.*) newdomen.ru/$1 выкиньте в топку, это не годится если хотите склейть старые урлы с новыми. Должно быть что то типа такого

RewriteRule ^viewforum.php?f=([0-9]+) http://newdomen.ru/index.php?showforum=$1 [R=301,L]

RewriteRule ^viewtopic.php?t=([0-9]+) http://newdomen.ru/index.php?showtopic=$1 [R=301,L]

и еще куча правил для разного рода страниц.

 

Я, к сожалению, не особо владею всеми тонкостями реврайта. Лучше найдите человека кто его вам правильно настроит.

Share this post


Link to post
Share on other sites

А есть ли здесь такие люди??

 

В принципе, могу и я пошаманить с htaccess'ом.

Если что, пишите в ЛС.

Share this post


Link to post
Share on other sites

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

 

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

Share this post


Link to post
Share on other sites

В корень поддомена класть. Поддомен – это отдельный сайт

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...