Опубликовано: 28 августа 201015 г Помогите пожалуйста с robots.txt, не могу разобраться...Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.Сайт лежит в корне, форум в директории /forum/.Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс. Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.Спасибо.
Опубликовано: 12 сентября 201015 г Тогда в чем может быть проблема???Запрещенные получаются практически все темы... А можно пример вашего робота увидеть...
Опубликовано: 12 сентября 201015 г Если гостям профили и список не показываете, запрещать не обязательно. В всех других случаях нужно. http://webmaster.yandex.ru/site/robots.xmlПроверьте темы.Они не должны быть запрещены.Там запрещаются только дубли (ссылки на посты) _http://ipbskins.ru/robots.txtНо не копируйте, это под наш чпу
Опубликовано: 12 сентября 201015 г можно подробней как проверить??? По данному вопросу уже когда то писал в тех помощь ..ответ...Здравствуйте! Спасибо, что обратили наше внимание на данную ошибку.Указанная директива учитывается нашим роботом. а что значит строчка User-agent: Mediapartners-Google*
Опубликовано: 12 сентября 201015 г http://webmaster.yandex.ru/robots.xmlВсе написано, как проверить. Добавьте в окно url тем а что значит строчка User-agent: Mediapartners-Google*Доступ боту adsense
Опубликовано: 12 сентября 201015 г выдает вот что а если убрать Disallow: /*&pid=все нормально, может так и поступить??
Опубликовано: 12 сентября 201015 г Тогда в чем может быть проблема???Запрещенные получаются практически все темы...Покажите в вебмастере где у вас запрещены темы? &pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}). Вроде не дубли, да и не мусор...А мусор то есть: f=Если профили не закрывайте от индексации, этот этот параметр стоит закрыть. И хотя это не страшно, лучше даже в профилях убрать лишние. Зы.Если сравнить с выдачей гугла, форум наверняка словил АГС. До этого сколько страниц было в поиске у яндекса? Даже на флудильных форумов при таком количестве сообщений в поиске попадают как минимум 500-1000 тем, а то и больше. 31 страниц, из которых больше половины профили - явно на вас наложили фильтр. Пишите платонам, за что и почему. В роботс замените:host: hookahpro.ru на host: www.hookahpro.ru
Опубликовано: 12 сентября 201015 г выдает вот что а если убрать Disallow: /*&pid=все нормально, может так и поступить??Согласна с siv1987URL с /*&pid= ссылаются на отдельные посты и все они ведут на страницу темы. Если там 15 постов, будет 15 дублей страницы темы.В итоге в индексе образуется множество дублей.Вес контента "распылится", в целом позиции упадут. АГС вроде не за что.Возможно, проблема с определением основного зеркала, отсюда проблемы.
Опубликовано: 12 сентября 201015 г Покажите в вебмастере где у вас запрещены темы? Это как??&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).Где это правится?? форум наверняка словил АГС. А кто такой АГС??? ))) Форум совсем недавно на этом домене...Месяц всего... Так что сказать сколько было страниц не знаю... А как точно узнать наложен ли фильтр?? Возможно, проблема с определением основного зеркала, отсюда проблемы. А енто что такое??
Опубликовано: 12 сентября 201015 г 1. В панели вебмастера в списке исключенных в связи с запретом в робтсе. Уже один дубль показали. Он правильно исключен.2. Это уже исправлено запретом индексации отдельных постов в роботсе.3. АГС – фильтр Яндекса, когда в индексе остается от 1 до 10-11 страниц.У Вас не АГС4. Месяц – небольшой срок. Пока рано судить об индексации5. Читайте хелпы Яндекса про зеркала. И вообще, читайте FAQ в вебмастере прежде, чем написать следующий пост.
Опубликовано: 12 сентября 201015 г Форум совсем недавно на этом домене...Месяц всего... Так что сказать сколько было страниц не знаю...Понятно. Тогда АГС отпадает.Сделайте редирект со старых ссылок на новые и ждите переиндексации. Яндекс в этом плане медленнее чем гугл. То что у вас сейчас в htaccess RewriteRule ^(.*) newdomen.ru/$1 выкиньте в топку, это не годится если хотите склейть старые урлы с новыми. Должно быть что то типа такогоRewriteRule ^viewforum.php?f=([0-9]+) http://newdomen.ru/index.php?showforum=$1 [R=301,L]RewriteRule ^viewtopic.php?t=([0-9]+) http://newdomen.ru/index.php?showtopic=$1 [R=301,L]и еще куча правил для разного рода страниц. Я, к сожалению, не особо владею всеми тонкостями реврайта. Лучше найдите человека кто его вам правильно настроит.
Опубликовано: 19 сентября 201015 г А есть ли здесь такие люди?? В принципе, могу и я пошаманить с htaccess'ом.Если что, пишите в ЛС.
Опубликовано: 20 января 201114 г а если у меня форум стоить на поддомене как тогда сделать robots.txt ???? а если у меня форум стоить на поддомене как тогда сделать robots.txt ????
Помогите пожалуйста с robots.txt, не могу разобраться...
Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.
Сайт лежит в корне, форум в директории /forum/.
Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?
Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?
Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.
Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.
Спасибо.