Исключение категории/форума из индексации

[tasker 12]

Здравствуйте.

 

Может быть кто-то встречал хук или компонент, добавляющий возможность исключения определённой категории/форума из индексации для поисковых систем? Он должен добавлять необходимые атрибуты к ссылкам и содержимому страниц и исключать из Sitemap ссылки на категории/форум и темы из этого форума.

 

А то есть у меня на форуме один болтальный раздел и не хочу, чтобы он индексировался.

 

Спасибо!

[Bot 4]

Обратите внимание

"Board url", указанный вами в профиле, некорректен, либо недоступен на данный момент. Пожауйста, заполните его, потому что он скорее всего потребуется при диагностике вашей проблемы.

[Атаман 465]

Исключите его в Robots.txt и все.

[tasker 12]

Это не поможет не индексировать темы из него. Все темы всех разделов живут ведь в /topic/*

[newbie 1723]

ТС, почитайте http://ipbskins.ru/forum/topic10496.html

Может что найдете для себя.

[siv1987 2630]

Как вариант закинуть ботов в другую группу и запретить им для просмотра этот раздел.

Насчет sitemap, вроде можно указать для каких категорий нужно генерировать карту.

 

Можно еще с помощью метатега robots запретить индексацию, но для этого надо лезть в коде или создать хук.

[tasker 12]

@newbie, почитал, спасибо. (Pav32) Bot Group интересно, но для этих целей не подходит - клоакинг.

 

Код

<if test="$this->request['t']==12345">
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW">
</if>

ближе к теме, но это должно быть реализовано в виде хука, с анализом форума расположения темы. И это решает только часть задач.

 

Модуль, в принципе, не очень сложный по структуре. Если изучу глубже внутренности IPB То сделаю. Там нужен параметр к разделу/форуму, изменения в шаблонах и изменения в коде генерации Sitemap и в коде генерации ссылок.

[tasker 12]

Насчет sitemap, вроде можно указать для каких каких категорий нужно генерировать карту.

 

Точно, забыл, что это уже есть в настройках категорий. То есть нужно ещё меньше.

[siv1987 2630]

ближе к теме, но это должно быть реализовано в виде хука, с анализом форума расположения темы.

$this->request['f']

[tasker 12]

@siv1987, это понятно. Но прямые ссылки он продолжит индексировать, а их много где есть. Надо ещё и код генерации ссылок дорабатывать.

[Zero108 124]

Не проще сделать болталку для авторизованных, а ботов поместить в группу гостей?

[tasker 12]

@Zero108, это только обходной нежелательный вариант. У меня нет нужды закрывать чтение этого раздела от гостей, пусть читают. Если закрыть его от группы ботов, то это будет клоакинг со всеми вытекающими.

 

Хук такой, думаю, необходим не только мне.

[tasker 12]

Расскажу вам прикол один про индексацию и настройку форумов некоторыми админами. Есть на форуме скрытый от обычных пользователей платный раздел. Искал я одну штуку в Яндексе и наткнулся на тему из этого раздела. Перехожу по ссылке и не могу просмотреть. "Но ведь Яндекс туда зашел", подумал я. Удалил куки, поставил user-agent бота Яндекса и ... спокойно стал читать тот раздел. Но там в темах ссылки на файлы, а их уже качать не мог.

 

Или это косяк в настройке или админ так и задумал, чтобы пользователи находили описание в Яндексе, а скачать могли только после регистрации и оплаты.

[siv1987 2630]

или админ так и задумал, чтобы пользователи находили описание в Яндексе, а скачать могли только после регистрации и оплаты.

Не исключено. На демиарте так и работает.

[tasker 12]

Интересно, а возможностей хука для реализации задуманного мне хватит? Или это уже только как приложение? Особо смущает необходимость добавления параметра в настройке категорий/форумов и необходимость внесения правок в алгоритм генерации ссылок. Хотя, там может и шаблоном обойдётся. В шаблоне у ссылки будет параметр, который будет раскрываться из настроек форума.