Помогите пожалуйста с robots.txt, не могу разобраться...

Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.

Сайт лежит в корне, форум в директории /forum/.

Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?

Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?

Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.

 

Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.

Спасибо.

После перехода к новым ЧПУ (стандартными методами) решил попробовать полностью переделать robots.txt, наплевав на тех неизвестных мне поисковиков, которые нормально с ним не умеют работать. Это я про то, что директивы Allow и Disallow идут в том порядке, в котором нужно мне, а не обязательно сначала все Allow. Надеюсь, что с Google и Яндексом проблем не возникнет.

 

User-agent: *

Disallow: /*page__view

Allow: /$

Allow: /forum/

Allow: /topic/

Allow: /forum/

Allow: /calendar/

Allow: /index.php?app=ipseo&module=sitemap

Disallow: /

Host: nashuniver.ru

Sitemap: http://nashuniver.ru/sitemap.xml

 

Пока еще неизвестно как с ним поведут себя поисковики, только время покажет. Но вот комментарии выслушать хотелось бы :D

Вот мне кажется, что запретится все.

Проверьте роботс в яндексе – http://webmaster.yandex.ru/robots.xml

 

Главное, это внизу

Список URL добавить

Все уже проверено и Яндексом и Гуглом. Используется ПЕРВАЯ подходящая директива, а не все подряд с целью что-нибудь запретить. А если для остальных закроется все, то туда им и дорога.

Вот уже нашел по крайней мере одну ошибку: сами файлы карт сайта открыл, а главный нет, пришлось добавить Allow: /sitemap.xml

Может еще кто что подскажет? Вдруг что-то не учел?

Пока все работает идеально, в Яндексе появились исключительно ссылки на темы, больше ничего. Правда календарь я все-таки тоже исключил из поиска и добавил запрет Disallow: /*page__p.

@Bonov,

Как эксперемент, все подтвердилось?

А почему- Allow: /forum/ два раза повторились?

Наверное случайно

@Bonov,

Как эксперемент, все подтвердилось?

Да, все ОК, в индексе остались исключительно нужные странички тем. Конечно никто из специалистов SEO такой вариант не прокомментировал.

 

А почему- Allow: /forum/ два раза повторились?

Случайно.

1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?

 

1. Да

 

Вопрос: а если у меня БД для сайта и форуме каждая своя. Все равно один файла в корень директории сайта засунуть?

Роботс общий, если домен один.

Объединить сайтовое и форумное, и проследить, чтобы не было противоречий.

 

Советую почитать FAQ Яндекса по составлению роботса.

 

Подскажите пожалуйста, мой Robots.txt правильный?

 

Использую ЧПУ типо

 

http://сайт.ру/forum/119-kinomanija/

 

http://сайт.ру/topic/567-avatar/

Изменено 5 июля 201114 г пользователем webog

Подскажите какое значение прописать в роботс так как гугл выводит на одну и туже страницу showtopic=127&pid=2651&mode=threaded&start=

showtopic=127&pid=16417&mode=threaded&start=

showtopic=127&pid=19287&mode=threaded&start=

showtopic=127&pid=2654&mode=threaded&start=

showtopic=127&pid=21917&mode=threaded&

start=

Или это нормальное явление?

Изменено 12 января 201313 г пользователем Прокопенко

robots.txt поставляется с дистрибутивом форума, там все нормально прописано. Кроме того, на страницах есть canonical url, так что ничего лишнего в индекс не попадет.

@weiss, там 2.3x. http://beekipedia.ru/robots.txt

@Прокопенко, ждите пока гугл выкинет из индекса запрещенные страницы, и не будет их "выдавать" в поиске. Процесс может продлится до полу-года.