Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
boltuk

Помогите с robots.txt

Рекомендованные сообщения

Спс

Поделиться сообщением


Ссылка на сообщение

После перехода к новым ЧПУ (стандартными методами) решил попробовать полностью переделать robots.txt, наплевав на тех неизвестных мне поисковиков, которые нормально с ним не умеют работать. Это я про то, что директивы Allow и Disallow идут в том порядке, в котором нужно мне, а не обязательно сначала все Allow. Надеюсь, что с Google и Яндексом проблем не возникнет.

 

User-agent: *

Disallow: /*page__view

Allow: /$

Allow: /forum/

Allow: /topic/

Allow: /forum/

Allow: /calendar/

Allow: /index.php?app=ipseo&module=sitemap

Disallow: /

Host: nashuniver.ru

Sitemap: http://nashuniver.ru/sitemap.xml

 

Пока еще неизвестно как с ним поведут себя поисковики, только время покажет. Но вот комментарии выслушать хотелось бы :D

Поделиться сообщением


Ссылка на сообщение

Вот мне кажется, что запретится все.

Проверьте роботс в яндексе – http://webmaster.yandex.ru/robots.xml

 

Главное, это внизу

Список URL добавить

Поделиться сообщением


Ссылка на сообщение

Все уже проверено и Яндексом и Гуглом. Используется ПЕРВАЯ подходящая директива, а не все подряд с целью что-нибудь запретить. А если для остальных закроется все, то туда им и дорога.

Поделиться сообщением


Ссылка на сообщение

Вот уже нашел по крайней мере одну ошибку: сами файлы карт сайта открыл, а главный нет, пришлось добавить Allow: /sitemap.xml

Может еще кто что подскажет? Вдруг что-то не учел?

Поделиться сообщением


Ссылка на сообщение

Пока все работает идеально, в Яндексе появились исключительно ссылки на темы, больше ничего. Правда календарь я все-таки тоже исключил из поиска и добавил запрет Disallow: /*page__p.

Поделиться сообщением


Ссылка на сообщение

@Bonov,

Как эксперемент, все подтвердилось?

Поделиться сообщением


Ссылка на сообщение

А почему- Allow: /forum/ два раза повторились?

Поделиться сообщением


Ссылка на сообщение

Наверное случайно

Поделиться сообщением


Ссылка на сообщение

@Bonov,

Как эксперемент, все подтвердилось?

Да, все ОК, в индексе остались исключительно нужные странички тем. Конечно никто из специалистов SEO такой вариант не прокомментировал.

 

А почему- Allow: /forum/ два раза повторились?

Случайно.

Поделиться сообщением


Ссылка на сообщение

1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?

 

1. Да

 

Вопрос: а если у меня БД для сайта и форуме каждая своя. Все равно один файла в корень директории сайта засунуть?

Поделиться сообщением


Ссылка на сообщение

Роботс общий, если домен один.

Объединить сайтовое и форумное, и проследить, чтобы не было противоречий.

 

Советую почитать FAQ Яндекса по составлению роботса.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение
01/12/13 13:22 (изменено)

Подскажите какое значение прописать в роботс так как гугл выводит на одну и туже страницу showtopic=127&pid=2651&mode=threaded&start=

showtopic=127&pid=16417&mode=threaded&start=

showtopic=127&pid=19287&mode=threaded&start=

showtopic=127&pid=2654&mode=threaded&start=

showtopic=127&pid=21917&mode=threaded&

start=

Или это нормальное явление?

Изменено пользователем Прокопенко

Поделиться сообщением


Ссылка на сообщение

robots.txt поставляется с дистрибутивом форума, там все нормально прописано. Кроме того, на страницах есть canonical url, так что ничего лишнего в индекс не попадет.

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...