Помогите пожалуйста с robots.txt, не могу разобраться...

Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.

Сайт лежит в корне, форум в директории /forum/.

Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?

Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?

Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.

 

Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.

Спасибо.

Тогда в чем может быть проблема???

Запрещенные получаются практически все темы...

 

А можно пример вашего робота увидеть...

Если гостям профили и список не показываете, запрещать не обязательно. В всех других случаях нужно.

 

http://webmaster.yandex.ru/site/robots.xml

Проверьте темы.

Они не должны быть запрещены.

Там запрещаются только дубли (ссылки на посты)

 

_http://ipbskins.ru/robots.txt

Но не копируйте, это под наш чпу

можно подробней как проверить???

 

По данному вопросу уже когда то писал в тех помощь ..

ответ...

Здравствуйте!

 

Спасибо, что обратили наше внимание на данную ошибку.

Указанная директива учитывается нашим роботом.

 

а что значит строчка User-agent: Mediapartners-Google*

http://webmaster.yandex.ru/robots.xml

Все написано, как проверить. Добавьте в окно url тем

 

а что значит строчка User-agent: Mediapartners-Google*

Доступ боту adsense

выдает вот что

а если убрать Disallow: /*&pid=

все нормально, может так и поступить??

Тогда в чем может быть проблема???

Запрещенные получаются практически все темы...

Покажите в вебмастере где у вас запрещены темы?

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

 

Вроде не дубли, да и не мусор...

А мусор то есть: f=

Если профили не закрывайте от индексации, этот этот параметр стоит закрыть. И хотя это не страшно, лучше даже в профилях убрать лишние.

 

Зы.

Если сравнить с выдачей гугла, форум наверняка словил АГС.

До этого сколько страниц было в поиске у яндекса? Даже на флудильных форумов при таком количестве сообщений в поиске попадают как минимум 500-1000 тем, а то и больше. 31 страниц, из которых больше половины профили - явно на вас наложили фильтр. Пишите платонам, за что и почему.

 

В роботс замените:

host: hookahpro.ru на host: www.hookahpro.ru

выдает вот что

а если убрать Disallow: /*&pid=

все нормально, может так и поступить??

Согласна с siv1987

URL с /*&pid= ссылаются на отдельные посты и все они ведут на страницу темы. Если там 15 постов, будет 15 дублей страницы темы.

В итоге в индексе образуется множество дублей.

Вес контента "распылится", в целом позиции упадут.

 

АГС вроде не за что.

Возможно, проблема с определением основного зеркала, отсюда проблемы.

Покажите в вебмастере где у вас запрещены темы?

Это как??

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

Где это правится??

 

форум наверняка словил АГС.

А кто такой АГС??? )))

 

Форум совсем недавно на этом домене...

Месяц всего... Так что сказать сколько было страниц не знаю...

 

А как точно узнать наложен ли фильтр??

 

Возможно, проблема с определением основного зеркала, отсюда проблемы.

А енто что такое??

1. В панели вебмастера в списке исключенных в связи с запретом в робтсе. Уже один дубль показали. Он правильно исключен.

2. Это уже исправлено запретом индексации отдельных постов в роботсе.

3. АГС – фильтр Яндекса, когда в индексе остается от 1 до 10-11 страниц.

У Вас не АГС

4. Месяц – небольшой срок. Пока рано судить об индексации

5. Читайте хелпы Яндекса про зеркала.

 

И вообще, читайте FAQ в вебмастере прежде, чем написать следующий пост.

Форум совсем недавно на этом домене...

Месяц всего... Так что сказать сколько было страниц не знаю...

Понятно. Тогда АГС отпадает.

Сделайте редирект со старых ссылок на новые и ждите переиндексации. Яндекс в этом плане медленнее чем гугл.

 

То что у вас сейчас в htaccess RewriteRule ^(.*) newdomen.ru/$1 выкиньте в топку, это не годится если хотите склейть старые урлы с новыми. Должно быть что то типа такого

RewriteRule ^viewforum.php?f=([0-9]+) http://newdomen.ru/index.php?showforum=$1 [R=301,L]

RewriteRule ^viewtopic.php?t=([0-9]+) http://newdomen.ru/index.php?showtopic=$1 [R=301,L]

и еще куча правил для разного рода страниц.

 

Я, к сожалению, не особо владею всеми тонкостями реврайта. Лучше найдите человека кто его вам правильно настроит.

А есть ли здесь такие люди??

А есть ли здесь такие люди??

 

В принципе, могу и я пошаманить с htaccess'ом.

Если что, пишите в ЛС.

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

 

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

В корень поддомена класть. Поддомен – это отдельный сайт

Спс