Всем привет! Подскажите, как правильно в файле robots.txt закрыть профили пользователей от индексации всеми поисковиками? Дело в том, что перерыл весь инет, везде по разному и пробовал ставить как рекомендуют, но при проверке через онлайн сервис на индексацию профиля выходит сообщение такого вида: Ссылка «http://site.ru/user/1-alex/» найдена на странице «site.ru» и доступна для индексации поисковыми роботами.

В файле robots.txt у меня так:

Disallow: /index.php/user/

до этого было просто так:

Disallow: /user/

Как на самом деле долно быть?

Ссылка на профили такого вида: http://site.ru/user/656-river/

Изменено 4 июля 201610 г пользователем Alex222

У вас все правильно настроено.

скорее всего сайт еще не переиндексирован.

Понял, спасибо за ответ!

Сейчас попробовал через вебмастер яндекса проверить индексацию. Пробно взял урлы пары профилей, попробовал проверить, выходит тоже "Разрешён" к индексации.

Нужна переиндексация, у яндекса она не мгновенная. А проверку вроде делает со старых показаний.

Целиком путь на ваш робот предоставьте.

Ещё раз понял, спасибо! Буду надеяться, что это так.

Как на самом деле долно быть?

Ссылка на профили такого вида:

Для такого формата запрет на индексацию ссылки должен выглядеть как было "до этого"

Disallow: /user/

Хорошо, спасибо, сейчас переделаю.

Скажите, а вот остальное, ниже пример, тоже получается по аналогии /index.php убирать?

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Изменено 4 июля 201610 г пользователем Alex222

Да, уже сам понял. Проверил через вебмастер, всё теперь не индексируется. Спасибо, вопрос снят!

Пардон, ещё вопрос один образовался. А вот такого вида (ниже) как будет правильно? Вроде по аналогии также /index.php убрать, но боюсь что может не правильно быть. Как подобная закрывашка будет выглядеть для моего формата ссылок?

Disallow: /index.php?app=forums&module=moderate&section=moderate

и вот это /*app=core&module=usercp

 

Или выложу вот полностью как выглядит. Боюсь, что много чего не правильно закрыто. Помогите правильно закрыть от индексации. Некоторое закрыл по вашей подсказке, а вот остальное... Дело в том, что в анализаторе htool раньше выдовало 10% заспенность ссылками и 15% Вероятность фильтра

на исх. ссылки (beta). Потом несколько дней назад начало выдавать 0% заспеменость ссылками, но зато появилось чего раньше небыло,такая инфо "Некачественные исходящие ссылки, Непот" и "Вероятность фильтра

на исх. ссылки (beta):" 50%, вот я и решил перетрясти файл robots.txt

 

User-agent: *
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Изменено 4 июля 201610 г пользователем Alex222

Это не чпу ссылки, а значит убирать index.php не нужно.

Понятно, спасибо!