Индексирование закрытых форумов

[Vildan 3]

Я сделал так что пользователи видят только разделы форума, а что бы зайти и почитать темы или нписать посты - надо зарегиться. Так вот вопрос - если такое ограничение доступа, то это мешает поисковикам идексировать форум или нет? Если мешает, то можно как то исправить.

[Fisana 700]

Мешает, разумеется. Они же тоже гости.

Поисковикам можно создать отдельную группу (не-гости), которой разрешить доступ в закрытые разделы, но очень скоро форум в бан попадет за клоакинг.

прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

 

Нельзя закрывать разделы только ради того, чтобы было больше регистраций.

[Vildan 3]

Дело в том что регистрация на форуме платная)

[Ph-A 395]

Если поисковик индексирует форум это значит, что любой гость может прочитать форум.

[siv1987 2628]

Здесь придется выбирать - либо платная регистрация, либо индексирования поисковыми ботами. Есть и третий вариант, разрешить ботам просматривать закрытые разделы, но как сказали выше очень скоро попадете в бан за клоакинг, плюс страницы можно будет легко достать из кэша, или всеголишь сменив юзер агент если боты не фильтруются по ип адресам.

[Ventory 3]

Подскажите!

Как написать в robot.txt чтобы все поисковики не могли индексировать мой форум?

[siv1987 2628]

Как написать в robot.txt

robots.txt

 

 

все поисковики не могли индексировать мой форум?

User-agent: *

Disallow: /

[Ventory 3]

После установки ipb 3.2.3. вижу в дерриктории такой файл robotstxt.txt

1.Я так понимаю, что его нужно просто переименовать на robots.txt?

2.Можно ли его просто удалить, если никаких запретов не нужно?

3. Обязательно ли вообще robots.txt файл иметь, если я ничего ограничивать и добавлять к поисковикам не хочу?

[siv1987 2628]

1-да, 2-да, 3-нет

[Ventory 3]

Закрыл от поисковиков календарь, в котором гугл сидел день и ночь и не мог он оттуда выбраться. Так вот, на сутки он пропал, сейчас смотрю, опять в нем сидит, хотя вижу в вебмастере, что страницы с календаря заблокированы роботсом.

Может нужно в роботсе указать запрет без слеша в конце, как в robots.txt на этом форуме? мой форум в корне.

User-agent: *

Disallow: /index.php?/calendar

[weiss 34]

Можно ли его просто удалить, если никаких запретов не нужно?

Вы уверены, что вам никаких запретов не нужно? Стандартный robots.txt отсеивает из выдачи мусор, который не нужен поисковикам, а нужен только движку, оставляя только полезный контент.

 

Может нужно в роботсе указать запрет без слеша в конце

Если у вас с адреса /calendar нет перенаправления на /calendar/ (т. е. по обоим адресам открывается календарь), то прописывать правило в robots.txt нужно для версии без слэша, в этом случае версия со слэшем тоже будет запрещена для индексации.

 

опять в нем сидит

Он может сидеть где угодно, и robots.txt на это не повлияет. Суть в том, что он не включит в выдачу запрещенные адреса.

[Ventory 3]

Вы уверены, что вам никаких запретов не нужно? Стандартный robots.txt отсеивает из выдачи мусор, который не нужен поисковикам, а нужен только движку, оставляя только полезный контент.

Теперь я уверен в том, что мне он нужен, так как гугл проиндексировал 700 пустых страниц календаря :D .

Убрал закладку из форума на календарь, сделал следующие запреты без слеша в конце: Disallow: /index.php?/calendar и Disallow: /*index.php?app=calendar, еще запретил все что возможно, теперь гугл заходит только раза 3 в день и только в нужные разделы, ура, а то раньше гугл либо в календаре, либо в списках пользователей день и ночь сидел :lol: .

Может меня яндекс из-за этого и не проиндексировал, а может и из-за того, что я добавлял почти пустой форум.

Изменено 24 января 2012 пользователем Ventory

[Ventory 3]

Похоже из-за календаря меня не индексирует яндекс, думаю так по следующим причинам.

Добавил в адд юрл яндекса свой сайт состоящий только из форума 7 января который с календарем, с индивидуальным наполнением.

Плюс еще через неделю добавил эксперементальный сайт состоящий только из форума но без календаря и состоящий только из темы "Ура заработало" :D .

Этот второй уже проиндексировался яндексом, а первый нет.

Причем по первому, который с календарем, конкурент гугл уже в вебмастере пишет что заблокировано роботом 2350 страниц календаря и каждый день в поиске эти страницы добавляет :unsure: , а заблокированы они уже как две недели. Какой-то сбой с гуглом.

Думаю также и на яндексе, он посчитал эти страницы с неиндевидуальным контентом и записал меня в БАН наверно.

[weiss 34]

Это нужно описывать тех. поддержке Яндекса.

[siv1987 2628]

Щас техподдержка яндекса кинется и все будут смотреть почему не индексируется гс одностраничный форум ТС-а. Ответ очевиден - развивайте ваш сайт и со времен он появится в индексе.