Помогите с robots.txt

[Vitalik Deqa 0]

Спс

[Bonov 13]

После перехода к новым ЧПУ (стандартными методами) решил попробовать полностью переделать robots.txt, наплевав на тех неизвестных мне поисковиков, которые нормально с ним не умеют работать. Это я про то, что директивы Allow и Disallow идут в том порядке, в котором нужно мне, а не обязательно сначала все Allow. Надеюсь, что с Google и Яндексом проблем не возникнет.

 

User-agent: *

Disallow: /*page__view

Allow: /$

Allow: /forum/

Allow: /topic/

Allow: /forum/

Allow: /calendar/

Allow: /index.php?app=ipseo&module=sitemap

Disallow: /

Host: nashuniver.ru

Sitemap: http://nashuniver.ru/sitemap.xml

 

Пока еще неизвестно как с ним поведут себя поисковики, только время покажет. Но вот комментарии выслушать хотелось бы :D

[Fisana 700]

Вот мне кажется, что запретится все.

Проверьте роботс в яндексе – http://webmaster.yandex.ru/robots.xml

 

Главное, это внизу

Список URL добавить

[Bonov 13]

Все уже проверено и Яндексом и Гуглом. Используется ПЕРВАЯ подходящая директива, а не все подряд с целью что-нибудь запретить. А если для остальных закроется все, то туда им и дорога.

[Bonov 13]

Вот уже нашел по крайней мере одну ошибку: сами файлы карт сайта открыл, а главный нет, пришлось добавить Allow: /sitemap.xml

Может еще кто что подскажет? Вдруг что-то не учел?

[Bonov 13]

Пока все работает идеально, в Яндексе появились исключительно ссылки на темы, больше ничего. Правда календарь я все-таки тоже исключил из поиска и добавил запрет Disallow: /*page__p.

[Petros 0]

@Bonov,

Как эксперемент, все подтвердилось?

[Petros 0]

А почему- Allow: /forum/ два раза повторились?

[Fisana 700]

Наверное случайно

[Bonov 13]

@Bonov,

Как эксперемент, все подтвердилось?

Да, все ОК, в индексе остались исключительно нужные странички тем. Конечно никто из специалистов SEO такой вариант не прокомментировал.

 

А почему- Allow: /forum/ два раза повторились?

Случайно.

[ARMEDVED 0]

1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?

 

1. Да

 

Вопрос: а если у меня БД для сайта и форуме каждая своя. Все равно один файла в корень директории сайта засунуть?

[Fisana 700]

Роботс общий, если домен один.

Объединить сайтовое и форумное, и проследить, чтобы не было противоречий.

 

Советую почитать FAQ Яндекса по составлению роботса.

[webog 0]

 

Подскажите пожалуйста, мой Robots.txt правильный?

 

Использую ЧПУ типо

 

http://сайт.ру/forum/119-kinomanija/

 

http://сайт.ру/topic/567-avatar/

Изменено 5 июля 2011 пользователем webog

[Прокопенко 0]

Подскажите какое значение прописать в роботс так как гугл выводит на одну и туже страницу showtopic=127&pid=2651&mode=threaded&start=

showtopic=127&pid=16417&mode=threaded&start=

showtopic=127&pid=19287&mode=threaded&start=

showtopic=127&pid=2654&mode=threaded&start=

showtopic=127&pid=21917&mode=threaded&

start=

Или это нормальное явление?

Изменено 12 января 2013 пользователем Прокопенко

[weiss 34]

robots.txt поставляется с дистрибутивом форума, там все нормально прописано. Кроме того, на страницах есть canonical url, так что ничего лишнего в индекс не попадет.