Помогите с robots.txt - Страница 3 - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

  • 4 Страниц +
  • 1
  • 2
  • 3
  • 4
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Помогите с robots.txt

#31 Пользователь не на сайте   Vitalik Deqa ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 6
  • Регистрация: 20-Январь 11
  • Репутация: 0
  • IPB version:3.0.x
 

Отправлено 20 Январь 2011 - 19:26

Спс
0

#32 Пользователь не на сайте   Bonov ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 171
  • Регистрация: 15-Декабрь 10
  • Репутация: 13
  • Откуда:Москва/Коломна
  • IPB version:3.4.x
 

Отправлено 28 Январь 2011 - 13:23

После перехода к новым ЧПУ (стандартными методами) решил попробовать полностью переделать robots.txt, наплевав на тех неизвестных мне поисковиков, которые нормально с ним не умеют работать. Это я про то, что директивы Allow и Disallow идут в том порядке, в котором нужно мне, а не обязательно сначала все Allow. Надеюсь, что с Google и Яндексом проблем не возникнет.

User-agent: *
Disallow: /*page__view
Allow: /$
Allow: /forum/
Allow: /topic/
Allow: /forum/
Allow: /calendar/
Allow: /index.php?app=ipseo&module=sitemap
Disallow: /
Host: nashuniver.ru
Sitemap: http://nashuniver.ru/sitemap.xml

Пока еще неизвестно как с ним поведут себя поисковики, только время покажет. Но вот комментарии выслушать хотелось бы :D
0

#33 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 28 Январь 2011 - 14:50

Вот мне кажется, что запретится все.
Проверьте роботс в яндексе – http://webmaster.yandex.ru/robots.xml

Главное, это внизу
Список URL добавить
0

#34 Пользователь не на сайте   Bonov ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 171
  • Регистрация: 15-Декабрь 10
  • Репутация: 13
  • Откуда:Москва/Коломна
  • IPB version:3.4.x
 

Отправлено 28 Январь 2011 - 15:22

Все уже проверено и Яндексом и Гуглом. Используется ПЕРВАЯ подходящая директива, а не все подряд с целью что-нибудь запретить. А если для остальных закроется все, то туда им и дорога.
0

#35 Пользователь не на сайте   Bonov ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 171
  • Регистрация: 15-Декабрь 10
  • Репутация: 13
  • Откуда:Москва/Коломна
  • IPB version:3.4.x
 

Отправлено 28 Январь 2011 - 17:02

Вот уже нашел по крайней мере одну ошибку: сами файлы карт сайта открыл, а главный нет, пришлось добавить Allow: /sitemap.xml
Может еще кто что подскажет? Вдруг что-то не учел?
0

#36 Пользователь не на сайте   Bonov ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 171
  • Регистрация: 15-Декабрь 10
  • Репутация: 13
  • Откуда:Москва/Коломна
  • IPB version:3.4.x
 

Отправлено 02 Февраль 2011 - 12:47

Пока все работает идеально, в Яндексе появились исключительно ссылки на темы, больше ничего. Правда календарь я все-таки тоже исключил из поиска и добавил запрет Disallow: /*page__p.
0

#37 Пользователь не на сайте   Petros ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 99
  • Регистрация: 24-Январь 11
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 24 Апрель 2011 - 20:47

Bonov,
Как эксперемент, все подтвердилось?
0

#38 Пользователь не на сайте   Petros ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 99
  • Регистрация: 24-Январь 11
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 24 Апрель 2011 - 20:58

А почему- Allow: /forum/ два раза повторились?
0

#39 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 24 Апрель 2011 - 21:54

Наверное случайно
0

#40 Пользователь не на сайте   Bonov ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 171
  • Регистрация: 15-Декабрь 10
  • Репутация: 13
  • Откуда:Москва/Коломна
  • IPB version:3.4.x
 

Отправлено 26 Апрель 2011 - 17:24

Просмотреть сообщениеPetros 24 Апрель 2011 - 20:47 сказал(а):

Bonov,
Как эксперемент, все подтвердилось?

Да, все ОК, в индексе остались исключительно нужные странички тем. Конечно никто из специалистов SEO такой вариант не прокомментировал.

Просмотреть сообщениеPetros 24 Апрель 2011 - 20:58 сказал(а):

А почему- Allow: /forum/ два раза повторились?

Случайно.
0

#41 Пользователь не на сайте   ARMEDVED ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 16
  • Регистрация: 22-Апрель 11
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 07 Май 2011 - 13:41

Просмотреть сообщениеboltuk 28 Август 2010 - 21:32 сказал(а):

1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?


Просмотреть сообщениеFisana 28 Август 2010 - 22:09 сказал(а):

1. Да


Вопрос: а если у меня БД для сайта и форуме каждая своя. Все равно один файла в корень директории сайта засунуть?
0

#42 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 07 Май 2011 - 18:32

Роботс общий, если домен один.
Объединить сайтовое и форумное, и проследить, чтобы не было противоречий.

Советую почитать FAQ Яндекса по составлению роботса.
1

#43 Пользователь не на сайте   webog ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Прохожие
  • Сообщений: 70
  • Регистрация: 13-Январь 11
  • Репутация: 0
  • IPB version:3.2.x
 

Отправлено 05 Июль 2011 - 16:04

Вложение  ываыа.jpg (67,58К)
Количество загрузок: 23

Подскажите пожалуйста, мой Robots.txt правильный?

Использую ЧПУ типо

http://сайт.ру/forum/119-kinomanija/

http://сайт.ру/topic/567-avatar/

Сообщение изменено: webog (05 Июль 2011 - 16:06)

0

#44 Пользователь не на сайте   Прокопенко ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 7
  • Регистрация: 03-Декабрь 12
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 12 Январь 2013 - 16:21

Подскажите какое значение прописать в роботс так как гугл выводит на одну и туже страницу showtopic=127&pid=2651&mode=threaded&start=
showtopic=127&pid=16417&mode=threaded&start=
showtopic=127&pid=19287&mode=threaded&start=
showtopic=127&pid=2654&mode=threaded&start=
showtopic=127&pid=21917&mode=threaded&
start=
Или это нормальное явление?

Сообщение изменено: Прокопенко (12 Январь 2013 - 16:28)

0

#45 Пользователь не на сайте   weiss ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Specialist
  • Сообщений: 165
  • Регистрация: 07-Август 11
  • Репутация: 31
  • Откуда:Rivendell
  • IPB version:3.4.x
 

Отправлено 12 Январь 2013 - 18:55

robots.txt поставляется с дистрибутивом форума, там все нормально прописано. Кроме того, на страницах есть canonical url, так что ничего лишнего в индекс не попадет.
0

Сообщить об этой теме:


  • 4 Страниц +
  • 1
  • 2
  • 3
  • 4
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна