Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
Vildan

Индексирование закрытых форумов

Рекомендованные сообщения

Я сделал так что пользователи видят только разделы форума, а что бы зайти и почитать темы или нписать посты - надо зарегиться. Так вот вопрос - если такое ограничение доступа, то это мешает поисковикам идексировать форум или нет? Если мешает, то можно как то исправить.

Поделиться сообщением


Ссылка на сообщение

Мешает, разумеется. Они же тоже гости.

Поисковикам можно создать отдельную группу (не-гости), которой разрешить доступ в закрытые разделы, но очень скоро форум в бан попадет за клоакинг.

прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

 

Нельзя закрывать разделы только ради того, чтобы было больше регистраций.

Поделиться сообщением


Ссылка на сообщение

Дело в том что регистрация на форуме платная)

Поделиться сообщением


Ссылка на сообщение

Если поисковик индексирует форум это значит, что любой гость может прочитать форум.

Поделиться сообщением


Ссылка на сообщение

Здесь придется выбирать - либо платная регистрация, либо индексирования поисковыми ботами. Есть и третий вариант, разрешить ботам просматривать закрытые разделы, но как сказали выше очень скоро попадете в бан за клоакинг, плюс страницы можно будет легко достать из кэша, или всеголишь сменив юзер агент если боты не фильтруются по ип адресам.

Поделиться сообщением


Ссылка на сообщение

Подскажите!

Как написать в robot.txt чтобы все поисковики не могли индексировать мой форум?

Поделиться сообщением


Ссылка на сообщение

Как написать в robot.txt

robots.txt

 

 

все поисковики не могли индексировать мой форум?

User-agent: *

Disallow: /

Поделиться сообщением


Ссылка на сообщение

После установки ipb 3.2.3. вижу в дерриктории такой файл robotstxt.txt

1.Я так понимаю, что его нужно просто переименовать на robots.txt?

2.Можно ли его просто удалить, если никаких запретов не нужно?

3. Обязательно ли вообще robots.txt файл иметь, если я ничего ограничивать и добавлять к поисковикам не хочу?

Поделиться сообщением


Ссылка на сообщение

1-да, 2-да, 3-нет

Поделиться сообщением


Ссылка на сообщение

Закрыл от поисковиков календарь, в котором гугл сидел день и ночь и не мог он оттуда выбраться. Так вот, на сутки он пропал, сейчас смотрю, опять в нем сидит, хотя вижу в вебмастере, что страницы с календаря заблокированы роботсом.

Может нужно в роботсе указать запрет без слеша в конце, как в robots.txt на этом форуме? мой форум в корне.

User-agent: *

Disallow: /index.php?/calendar

Поделиться сообщением


Ссылка на сообщение

Можно ли его просто удалить, если никаких запретов не нужно?

Вы уверены, что вам никаких запретов не нужно? Стандартный robots.txt отсеивает из выдачи мусор, который не нужен поисковикам, а нужен только движку, оставляя только полезный контент.

 

Может нужно в роботсе указать запрет без слеша в конце

Если у вас с адреса /calendar нет перенаправления на /calendar/ (т. е. по обоим адресам открывается календарь), то прописывать правило в robots.txt нужно для версии без слэша, в этом случае версия со слэшем тоже будет запрещена для индексации.

 

опять в нем сидит

Он может сидеть где угодно, и robots.txt на это не повлияет. Суть в том, что он не включит в выдачу запрещенные адреса.

Поделиться сообщением


Ссылка на сообщение
01/24/12 10:40 (изменено)
Вы уверены, что вам никаких запретов не нужно? Стандартный robots.txt отсеивает из выдачи мусор, который не нужен поисковикам, а нужен только движку, оставляя только полезный контент.

Теперь я уверен в том, что мне он нужен, так как гугл проиндексировал 700 пустых страниц календаря :D .

Убрал закладку из форума на календарь, сделал следующие запреты без слеша в конце: Disallow: /index.php?/calendar и Disallow: /*index.php?app=calendar, еще запретил все что возможно, теперь гугл заходит только раза 3 в день и только в нужные разделы, ура, а то раньше гугл либо в календаре, либо в списках пользователей день и ночь сидел :lol: .

Может меня яндекс из-за этого и не проиндексировал, а может и из-за того, что я добавлял почти пустой форум.

Изменено пользователем Ventory

Поделиться сообщением


Ссылка на сообщение

Похоже из-за календаря меня не индексирует яндекс, думаю так по следующим причинам.

Добавил в адд юрл яндекса свой сайт состоящий только из форума 7 января который с календарем, с индивидуальным наполнением.

Плюс еще через неделю добавил эксперементальный сайт состоящий только из форума но без календаря и состоящий только из темы "Ура заработало" :D .

Этот второй уже проиндексировался яндексом, а первый нет.

Причем по первому, который с календарем, конкурент гугл уже в вебмастере пишет что заблокировано роботом 2350 страниц календаря и каждый день в поиске эти страницы добавляет :unsure: , а заблокированы они уже как две недели. Какой-то сбой с гуглом.

Думаю также и на яндексе, он посчитал эти страницы с неиндевидуальным контентом и записал меня в БАН наверно.

Поделиться сообщением


Ссылка на сообщение

Это нужно описывать тех. поддержке Яндекса.

Поделиться сообщением


Ссылка на сообщение

Щас техподдержка яндекса кинется и все будут смотреть почему не индексируется гс одностраничный форум ТС-а. Ответ очевиден - развивайте ваш сайт и со времен он появится в индексе.

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...