Спс
Помогите с robots.txt
#31
Vitalik Deqa 
- Newbie
-
- Группа: Пользователи
- Сообщений: 6
- Регистрация: 20-Январь 11
- Репутация: 0
- IPB version:3.0.x
Отправлено 20 Январь 2011 - 19:26
#32
Bonov
- Advanced
-
- Группа: Пользователи
- Сообщений: 118
- Регистрация: 15-Декабрь 10
- Репутация: 7
- Откуда:Москва/Коломна
- IPB version:3.2.x
Отправлено 28 Январь 2011 - 13:23
После перехода к новым ЧПУ (стандартными методами) решил попробовать полностью переделать robots.txt, наплевав на тех неизвестных мне поисковиков, которые нормально с ним не умеют работать. Это я про то, что директивы Allow и Disallow идут в том порядке, в котором нужно мне, а не обязательно сначала все Allow. Надеюсь, что с Google и Яндексом проблем не возникнет.
User-agent: *
Disallow: /*page__view
Allow: /$
Allow: /forum/
Allow: /topic/
Allow: /forum/
Allow: /calendar/
Allow: /index.php?app=ipseo&module=sitemap
Disallow: /
Host: nashuniver.ru
Sitemap: http://nashuniver.ru/sitemap.xml
Пока еще неизвестно как с ним поведут себя поисковики, только время покажет. Но вот комментарии выслушать хотелось бы
User-agent: *
Disallow: /*page__view
Allow: /$
Allow: /forum/
Allow: /topic/
Allow: /forum/
Allow: /calendar/
Allow: /index.php?app=ipseo&module=sitemap
Disallow: /
Host: nashuniver.ru
Sitemap: http://nashuniver.ru/sitemap.xml
Пока еще неизвестно как с ним поведут себя поисковики, только время покажет. Но вот комментарии выслушать хотелось бы
#33
Fisana
- На PM не отвечаю
-
- Группа: IPB Skins Team
- Сообщений: 12 891
- Регистрация: 21-Ноябрь 05
- Репутация: 562
- Откуда:Из интернетов
- IPB version:3.1.x
Отправлено 28 Январь 2011 - 14:50
Вот мне кажется, что запретится все.
Проверьте роботс в яндексе – http://webmaster.yandex.ru/robots.xml
Главное, это внизу
Список URL добавить
Проверьте роботс в яндексе – http://webmaster.yandex.ru/robots.xml
Главное, это внизу
Список URL добавить
#34
Bonov
- Advanced
-
- Группа: Пользователи
- Сообщений: 118
- Регистрация: 15-Декабрь 10
- Репутация: 7
- Откуда:Москва/Коломна
- IPB version:3.2.x
Отправлено 28 Январь 2011 - 15:22
Все уже проверено и Яндексом и Гуглом. Используется ПЕРВАЯ подходящая директива, а не все подряд с целью что-нибудь запретить. А если для остальных закроется все, то туда им и дорога.
#35
Bonov
- Advanced
-
- Группа: Пользователи
- Сообщений: 118
- Регистрация: 15-Декабрь 10
- Репутация: 7
- Откуда:Москва/Коломна
- IPB version:3.2.x
Отправлено 28 Январь 2011 - 17:02
Вот уже нашел по крайней мере одну ошибку: сами файлы карт сайта открыл, а главный нет, пришлось добавить Allow: /sitemap.xml
Может еще кто что подскажет? Вдруг что-то не учел?
Может еще кто что подскажет? Вдруг что-то не учел?
#36
Bonov
- Advanced
-
- Группа: Пользователи
- Сообщений: 118
- Регистрация: 15-Декабрь 10
- Репутация: 7
- Откуда:Москва/Коломна
- IPB version:3.2.x
Отправлено 02 Февраль 2011 - 12:47
Пока все работает идеально, в Яндексе появились исключительно ссылки на темы, больше ничего. Правда календарь я все-таки тоже исключил из поиска и добавил запрет Disallow: /*page__p.
#40
Bonov
- Advanced
-
- Группа: Пользователи
- Сообщений: 118
- Регистрация: 15-Декабрь 10
- Репутация: 7
- Откуда:Москва/Коломна
- IPB version:3.2.x
Отправлено 26 Апрель 2011 - 17:24
Petros 24 Апрель 2011 - 20:47 сказал(а):
Да, все ОК, в индексе остались исключительно нужные странички тем. Конечно никто из специалистов SEO такой вариант не прокомментировал.
Petros 24 Апрель 2011 - 20:58 сказал(а):
А почему- Allow: /forum/ два раза повторились?
Случайно.
#41
ARMEDVED
- Member
-
- Группа: Пользователи
- Сообщений: 16
- Регистрация: 22-Апрель 11
- Репутация: 0
- IPB version:3.1.x
Отправлено 07 Май 2011 - 13:41
boltuk 28 Август 2010 - 21:32 сказал(а):
1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?
Fisana 28 Август 2010 - 22:09 сказал(а):
1. Да
Вопрос: а если у меня БД для сайта и форуме каждая своя. Все равно один файла в корень директории сайта засунуть?
#42
Fisana
- На PM не отвечаю
-
- Группа: IPB Skins Team
- Сообщений: 12 891
- Регистрация: 21-Ноябрь 05
- Репутация: 562
- Откуда:Из интернетов
- IPB version:3.1.x
Отправлено 07 Май 2011 - 18:32
Роботс общий, если домен один.
Объединить сайтовое и форумное, и проследить, чтобы не было противоречий.
Советую почитать FAQ Яндекса по составлению роботса.
Объединить сайтовое и форумное, и проследить, чтобы не было противоречий.
Советую почитать FAQ Яндекса по составлению роботса.
#43
webog
- Member
-
- Группа: Пользователи
- Сообщений: 56
- Регистрация: 13-Январь 11
- Репутация: 0
- IPB version:3.1.x
Отправлено 05 Июль 2011 - 16:04
ываыа.jpg (67,58К)
Количество загрузок: 10
Подскажите пожалуйста, мой Robots.txt правильный?
Использую ЧПУ типо
http://сайт.ру/forum/119-kinomanija/
http://сайт.ру/topic/567-avatar/
Сообщение изменено: webog (05 Июль 2011 - 16:06)