Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
Vildan

Индексирование закрытых форумов

Recommended Posts

Я сделал так что пользователи видят только разделы форума, а что бы зайти и почитать темы или нписать посты - надо зарегиться. Так вот вопрос - если такое ограничение доступа, то это мешает поисковикам идексировать форум или нет? Если мешает, то можно как то исправить.

Share this post


Link to post
Share on other sites

Мешает, разумеется. Они же тоже гости.

Поисковикам можно создать отдельную группу (не-гости), которой разрешить доступ в закрытые разделы, но очень скоро форум в бан попадет за клоакинг.

прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

 

Нельзя закрывать разделы только ради того, чтобы было больше регистраций.

Share this post


Link to post
Share on other sites

Дело в том что регистрация на форуме платная)

Share this post


Link to post
Share on other sites

Если поисковик индексирует форум это значит, что любой гость может прочитать форум.

Share this post


Link to post
Share on other sites

Здесь придется выбирать - либо платная регистрация, либо индексирования поисковыми ботами. Есть и третий вариант, разрешить ботам просматривать закрытые разделы, но как сказали выше очень скоро попадете в бан за клоакинг, плюс страницы можно будет легко достать из кэша, или всеголишь сменив юзер агент если боты не фильтруются по ип адресам.

Share this post


Link to post
Share on other sites

Подскажите!

Как написать в robot.txt чтобы все поисковики не могли индексировать мой форум?

Share this post


Link to post
Share on other sites

Как написать в robot.txt

robots.txt

 

 

все поисковики не могли индексировать мой форум?

User-agent: *

Disallow: /

Share this post


Link to post
Share on other sites

После установки ipb 3.2.3. вижу в дерриктории такой файл robotstxt.txt

1.Я так понимаю, что его нужно просто переименовать на robots.txt?

2.Можно ли его просто удалить, если никаких запретов не нужно?

3. Обязательно ли вообще robots.txt файл иметь, если я ничего ограничивать и добавлять к поисковикам не хочу?

Share this post


Link to post
Share on other sites

Закрыл от поисковиков календарь, в котором гугл сидел день и ночь и не мог он оттуда выбраться. Так вот, на сутки он пропал, сейчас смотрю, опять в нем сидит, хотя вижу в вебмастере, что страницы с календаря заблокированы роботсом.

Может нужно в роботсе указать запрет без слеша в конце, как в robots.txt на этом форуме? мой форум в корне.

User-agent: *

Disallow: /index.php?/calendar

Share this post


Link to post
Share on other sites

Можно ли его просто удалить, если никаких запретов не нужно?

Вы уверены, что вам никаких запретов не нужно? Стандартный robots.txt отсеивает из выдачи мусор, который не нужен поисковикам, а нужен только движку, оставляя только полезный контент.

 

Может нужно в роботсе указать запрет без слеша в конце

Если у вас с адреса /calendar нет перенаправления на /calendar/ (т. е. по обоим адресам открывается календарь), то прописывать правило в robots.txt нужно для версии без слэша, в этом случае версия со слэшем тоже будет запрещена для индексации.

 

опять в нем сидит

Он может сидеть где угодно, и robots.txt на это не повлияет. Суть в том, что он не включит в выдачу запрещенные адреса.

Share this post


Link to post
Share on other sites
Вы уверены, что вам никаких запретов не нужно? Стандартный robots.txt отсеивает из выдачи мусор, который не нужен поисковикам, а нужен только движку, оставляя только полезный контент.

Теперь я уверен в том, что мне он нужен, так как гугл проиндексировал 700 пустых страниц календаря :D .

Убрал закладку из форума на календарь, сделал следующие запреты без слеша в конце: Disallow: /index.php?/calendar и Disallow: /*index.php?app=calendar, еще запретил все что возможно, теперь гугл заходит только раза 3 в день и только в нужные разделы, ура, а то раньше гугл либо в календаре, либо в списках пользователей день и ночь сидел :lol: .

Может меня яндекс из-за этого и не проиндексировал, а может и из-за того, что я добавлял почти пустой форум.

Edited by Ventory

Share this post


Link to post
Share on other sites

Похоже из-за календаря меня не индексирует яндекс, думаю так по следующим причинам.

Добавил в адд юрл яндекса свой сайт состоящий только из форума 7 января который с календарем, с индивидуальным наполнением.

Плюс еще через неделю добавил эксперементальный сайт состоящий только из форума но без календаря и состоящий только из темы "Ура заработало" :D .

Этот второй уже проиндексировался яндексом, а первый нет.

Причем по первому, который с календарем, конкурент гугл уже в вебмастере пишет что заблокировано роботом 2350 страниц календаря и каждый день в поиске эти страницы добавляет :unsure: , а заблокированы они уже как две недели. Какой-то сбой с гуглом.

Думаю также и на яндексе, он посчитал эти страницы с неиндевидуальным контентом и записал меня в БАН наверно.

Share this post


Link to post
Share on other sites

Это нужно описывать тех. поддержке Яндекса.

Share this post


Link to post
Share on other sites

Щас техподдержка яндекса кинется и все будут смотреть почему не индексируется гс одностраничный форум ТС-а. Ответ очевиден - развивайте ваш сайт и со времен он появится в индексе.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...